Anzeige:
Ergebnis 1 bis 7 von 7

Thema: Sicherung nur von Änderungen bei einer einzelnen Datei.

  1. #1
    Registrierter Benutzer
    Registriert seit
    Feb 2000
    Ort
    Wachtendonk
    Beiträge
    315

    Sicherung nur von Änderungen bei einer einzelnen Datei.

    Hallo zusammen,

    ich hab schon Google gefragt und auch hier im Forum gesucht, leider ohne Erfolg. Vielleicht gibt es die Lösung auch gar nicht oder ich habe ein Denkfehler.

    Dies ist ein Beispiel:
    Ich habe eine 100 GB große Datei (z.B. PST oder Datenbank), dieser wird über Netzwerk kopiert. Nun wird in der Datei (PST ein Maileingang oder Datenbank in Insert) kleine Veränderungen durchgeführt.
    Um die zu sichern müssen die 100 GB komplett neu kopiert bzw. übertragen werden.

    Gibt es da Lösungen um dieses zu vermeiden, so das nur die Änderung im Ziel kopiert wird ?

    Da die Quelle ja nicht weißt was im Ziel anders ist, wird über Netzwerk die komplette Datei verglichen, wird also nicht klappen.

    Meine Idee ist:
    Ich habe eine 100 GB Datei die dann über Netzwerk weggesichert wird und lokale kopiert. Eine Woche später wird die aktuelle Datei mit der lokalen Sicherung verglichen, die Änderungen lokale gespeichert und dann über Netzwerk übertragen.
    So habe ich im Netzwerk die 100 GB Datei von vor einer Woche und die neue kleinere Änderungsdatei aktuell. Führe ich die Änderungsdatei an der Datei von letzter Woche aus, erhalte ich den aktuellen Stand und habe nur ein Bruchteil übers Netzwerk übertragen.

    Hat da jemand eine Idee oder ein Ansatz wo ich Recherchieren kann ?

    Dankäääääää
    Gruß Mathew

    www.synetec.de

  2. #2
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    es gibt div. Sicherungstools, die in der Lage sind, bei großen Dateien nur Deltas zu übertragen - gerne genannt wird in letzer Zeit immer borg-Backup - wobei ich das noch nie ausprobiert habe.
    Stichworte sind meist Differenzielle Backups, Deduplikation und ähnliches.

    AFAIR müsste das aber auch rsync können.

    Ob die jeweiligen Methoden effizienter sind kommt aber auch immer auf die jeweiligen Dateien an - eine nach außen kleine Änderung kann intern massive Auswirkungen haben.

    Sinnvoller ist es meist, sich nicht für jeden Anwendungsfall auf das gleiche Tool zu verlassen sondern ggf. je nach Anwendung und Anforderung auf ded. Wege zu gehen - bei DBs z.B. über eine Replikation, bei Mail auf Synchronisation via Mailserver, ... - das kann bis zu Remotesnapshorts von Dateisystemen gehen...
    Ich bin root - ich darf das.

  3. #3
    Registrierter Benutzer
    Registriert seit
    Feb 2006
    Ort
    Altenstadt-Lindheim
    Beiträge
    1.847
    Die inkrementellen Tools sind aber bei großen .pst usw völlig sinnfrei. Die machen nur Sinn bei vielen kleinen Dateien. Sobald sich eine große geändert hat, wird die von den Tools immer komplett kopiert - geht ja gar nicht anders, weil das Tool ja den internen Aufbau nicht kennt. Das weiß nicht, wo die neue Mail beginnt und endet usw...

  4. #4
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    ... das ist leider nicht 100% richtig :-)
    Ich bin root - ich darf das.

  5. #5
    Registrierter Benutzer
    Registriert seit
    Feb 2006
    Ort
    Altenstadt-Lindheim
    Beiträge
    1.847
    Dann bräuchte man aber ein Tool speziell für die entsprechende Datei. Ich selbst kenne keins - zumindest unter Linux aber eventuell gibt es ja was passendes. Ob da mit git was geht ?

  6. #6
    Registrierter Benutzer
    Registriert seit
    Dec 2003
    Ort
    Dettenhausen
    Beiträge
    22.054
    Nö, braucht man nicht. Man zerlegt einfach eine Datei in Blöcke und vergleicht dann Block für Block - damit bekommst Du dann jede Änderung an jeder beliebigen Stelle mit und kannst dann nur den betroffenen Block übertragen.

    ... und ja, ein wenig Hinrschmalz muss noch drumherum und ggf. ist auch bei einer minimalen Änderung die komplette Datei unterschiedlich - aber irgendwas ist ja immer.
    Ich bin root - ich darf das.

  7. #7
    @SlopePointNZ Avatar von craano
    Registriert seit
    Jul 2004
    Beiträge
    1.313
    Und rsync kann genau das. Es werden nur die unterschiedlichen Blöcke einer Datei übertragen.

    Bei sehr großen Dateien bleibt bei minimaler Änderung die Größe der Daten, die übertragen werden, sehr klein. Die eigentliche Übertragung über das Netz geht dann sehr schnell. Allerdings kann mit rsync die Kalkulation des Deltas vorab sehr viel Zeit in Anspruch nehmen.
    Für Deinen Anwendungsfall (PST Datei) ist vielleicht ZFS send / receive ein Kandidat.
    Hier ein sehr lesenswerter Vergleichstest zu genau diesem Thema: https://arstechnica.com/information-...-and-its-fast/
    Bei kleinsten Änderungen einer 8GB großen Datei kann ZFS in sekundenschnelle replizieren. Sollte bei 100GB nicht wesentlich anders sein.

    Gruß
    craano

Ähnliche Themen

  1. Inkrementelle Sicherung in einer Datei
    Von Crys im Forum Sicherheit
    Antworten: 11
    Letzter Beitrag: 07.02.18, 01:50
  2. Sicherung einer Install mit tar
    Von juvoaa im Forum System installieren und konfigurieren
    Antworten: 2
    Letzter Beitrag: 29.12.04, 22:49
  3. dsl-traffic von einer sicherung messen?
    Von muell200 im Forum Anbindung an die Aussenwelt
    Antworten: 0
    Letzter Beitrag: 26.10.04, 11:24
  4. Änderungen an Log-Datei per Mail?
    Von jazzesnee im Forum Linux Allgemein
    Antworten: 1
    Letzter Beitrag: 04.08.04, 06:03
  5. wireless router mit einer einzelnen empfängerbox?
    Von da\/id im Forum Anbindung an die Aussenwelt
    Antworten: 1
    Letzter Beitrag: 02.05.04, 21:27

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •