Sicherung nur von Änderungen bei einer einzelnen Datei.

Hallo zusammen,

ich hab schon Google gefragt und auch hier im Forum gesucht, leider ohne Erfolg. Vielleicht gibt es die Lösung auch gar nicht oder ich habe ein Denkfehler.

Dies ist ein Beispiel:
Ich habe eine 100 GB große Datei (z.B. PST oder Datenbank), dieser wird über Netzwerk kopiert. Nun wird in der Datei (PST ein Maileingang oder Datenbank in Insert) kleine Veränderungen durchgeführt.
Um die zu sichern müssen die 100 GB komplett neu kopiert bzw. übertragen werden.

Gibt es da Lösungen um dieses zu vermeiden, so das nur die Änderung im Ziel kopiert wird ?

Da die Quelle ja nicht weißt was im Ziel anders ist, wird über Netzwerk die komplette Datei verglichen, wird also nicht klappen.

Meine Idee ist:
Ich habe eine 100 GB Datei die dann über Netzwerk weggesichert wird und lokale kopiert. Eine Woche später wird die aktuelle Datei mit der lokalen Sicherung verglichen, die Änderungen lokale gespeichert und dann über Netzwerk übertragen.
So habe ich im Netzwerk die 100 GB Datei von vor einer Woche und die neue kleinere Änderungsdatei aktuell. Führe ich die Änderungsdatei an der Datei von letzter Woche aus, erhalte ich den aktuellen Stand und habe nur ein Bruchteil übers Netzwerk übertragen.

Hat da jemand eine Idee oder ein Ansatz wo ich Recherchieren kann ?

Dankäääääää

es gibt div. Sicherungstools, die in der Lage sind, bei großen Dateien nur Deltas zu übertragen - gerne genannt wird in letzer Zeit immer borg-Backup - wobei ich das noch nie ausprobiert habe.
Stichworte sind meist Differenzielle Backups, Deduplikation und ähnliches.

AFAIR müsste das aber auch rsync können.

Ob die jeweiligen Methoden effizienter sind kommt aber auch immer auf die jeweiligen Dateien an - eine nach außen kleine Änderung kann intern massive Auswirkungen haben.

Sinnvoller ist es meist, sich nicht für jeden Anwendungsfall auf das gleiche Tool zu verlassen sondern ggf. je nach Anwendung und Anforderung auf ded. Wege zu gehen - bei DBs z.B. über eine Replikation, bei Mail auf Synchronisation via Mailserver, ... - das kann bis zu Remotesnapshorts von Dateisystemen gehen...

Die inkrementellen Tools sind aber bei großen .pst usw völlig sinnfrei. Die machen nur Sinn bei vielen kleinen Dateien. Sobald sich eine große geändert hat, wird die von den Tools immer komplett kopiert - geht ja gar nicht anders, weil das Tool ja den internen Aufbau nicht kennt. Das weiß nicht, wo die neue Mail beginnt und endet usw...

... das ist leider nicht 100% richtig :-)

Dann bräuchte man aber ein Tool speziell für die entsprechende Datei. Ich selbst kenne keins - zumindest unter Linux aber eventuell gibt es ja was passendes. Ob da mit git was geht ?

Nö, braucht man nicht. Man zerlegt einfach eine Datei in Blöcke und vergleicht dann Block für Block - damit bekommst Du dann jede Änderung an jeder beliebigen Stelle mit und kannst dann nur den betroffenen Block übertragen.

... und ja, ein wenig Hinrschmalz muss noch drumherum und ggf. ist auch bei einer minimalen Änderung die komplette Datei unterschiedlich - aber irgendwas ist ja immer.

Und rsync kann genau das. Es werden nur die unterschiedlichen Blöcke einer Datei übertragen.

Bei sehr großen Dateien bleibt bei minimaler Änderung die Größe der Daten, die übertragen werden, sehr klein. Die eigentliche Übertragung über das Netz geht dann sehr schnell. Allerdings kann mit rsync die Kalkulation des Deltas vorab sehr viel Zeit in Anspruch nehmen.
Für Deinen Anwendungsfall (PST Datei) ist vielleicht ZFS send / receive ein Kandidat.
Hier ein sehr lesenswerter Vergleichstest zu genau diesem Thema: https://arstechnica.com/information-...-and-its-fast/
Bei kleinsten Änderungen einer 8GB großen Datei kann ZFS in sekundenschnelle replizieren. Sollte bei 100GB nicht wesentlich anders sein.

Gruß
craano