Sicheres/überprüftes Kopieren einen großen Datei

Druckbare Version

09.02.17, 13:59
AndreasMeier

Sicheres/überprüftes Kopieren einen großen Datei

Hallo zusammen,

ich hab folgendes Problem:
ich hab ein unkomprimiertes ISO-Image einer 1TB-Platte gemacht.
Als Zielverzeichnis hab ich einen TrueCrypt-Container angegeben.

Nun möchte ich die ISO-Datei aus dem Container auf ein anderes Verzeichnis im Netzwerk kopieren.
Das hab ich mit dem Dolphin-Dateimanager unter KDE gemacht.
Die angezeigte Größe beider Dateien ist identisch, wenn ich die Eigenschaften der Dateien aufrufe und vergleiche.

Um sicher zu gehen, hab ich mir jeweils eine MD5-Checksum erstellen lassen und diese waren unterschiedlich.
Hier hatte ich eigentlich einen identischen Ausgabewert erwartet.

Nun wollte ich sicherheitshalber nochmal mit KDiff3 vergleichen - leider hängt sich KDiff3 nach einer Zeit auf.
Ein diff auf Konsolenebene brachte das Ergebnis, dass die Dateien verschieden sind, ein cmp ebenfalls.

Nun die Frage, wie kann ich die Datei sicher binär kopieren, ohne dass sich Übertragungsfehler einschleichen.
Oder hab ich bei md5/diff/cmp Fehler gemacht?

Danke und Gruß
Andreas
09.02.17, 14:32
florian0285

Wie erstellst du das ISO-Image?
Wird das ISO-Image noch benutzt?
Welchen Befehl benutzt du zum Vergleichen?
Welche Dateien vergleichst du?
Welchen Befehl nutzt du zum Kopieren?
Welche Ausgabe kommt denn bei beiden MD5-Checks genau raus?

https://help.ubuntu.com/community/HowToMD5SUM

Bei mir sieht das so aus:

Code:

[jemand@anywhere Verzeichnis]$ md5sum OpenBSD6.iso a3570f4b68f02914d21eb874e1c15333 OpenBSD6.iso [jemand@anywhere Verzeichnis]$ cp OpenBSD6.iso OpenBSD.iso [jemand@anywhere Verzeichnis]$ md5sum OpenBSD.iso a3570f4b68f02914d21eb874e1c15333 OpenBSD.iso

Also mit "cp" sollte es gehen.

Alternativen:
sha224sum, sha256sum, sha384sum und sha512sum
09.02.17, 17:03
AndreasMeier

Zitat:

Wie erstellst du das ISO-Image?

Mit DD eine Platte in ne ISO-Datei gepumpt.

Zitat:

Wird das ISO-Image noch benutzt?

Ja, soll zur Datenrettung der darin befindlichen Daten genommen werden

Zitat:

Welchen Befehl benutzt du zum Vergleichen?
Welche Dateien vergleichst du?

Code:

diff datei.iso kopie.iso cmp datei.iso kopie.iso

und das Programm kdiff3 ist wie gesagt eingefroren...

Zitat:

Welchen Befehl nutzt du zum Kopieren?
Welche Ausgabe kommt denn bei beiden MD5-Checks genau raus?

Drag&Drop im Dolphin-Dateimanager

Zitat:

Welche Ausgabe kommt denn bei beiden MD5-Checks genau raus?

Unterschiedliche, sonst wäre ich garnicht nervös geworden :eek::p

Ich hab jetzt die Kopie gelöscht, kopiere sie nochmal mit cp und mach dann den MD5-Check nochmal...
09.02.17, 17:37
florian0285

Zitat:

Zitat von AndreasMeier

Ja, soll zur Datenrettung der darin befindlichen Daten genommen werden

Ich meinte eigentlich ob sie noch "geöffnet" ist und "benutzt" wird oder irgendwie eingebunden etc. Also letztendlich ist zum Ausschließen, dass noch Daten live verändert werden.

Zitat:

Code:

diff datei.iso kopie.iso cmp datei.iso kopie.iso

und das Programm kdiff3 ist wie gesagt eingefroren...
...
Unterschiedliche, sonst wäre ich garnicht nervös geworden :eek::p

Copy&Paste der Eingabe/Ausgabe ist halt immer aussagekräftiger als eine "Aussage".
Zwei Augen übersehen einen Fehler, vier Augen entdecken ihn vielleicht ;)
Das Forum hat 1Mio Augen :rolleyes:

Zitat:

Ich hab jetzt die Kopie gelöscht, kopiere sie nochmal mit cp und mach dann den MD5-Check nochmal...

Versuchs dann auch mal mit sha.
10.02.17, 13:32
Newbie314

Diff ist der falsche Befehl (inklusive der Varianten mit GUI Frontend) weil diff für ASCII Dateien gedacht ist. Deine Idee mit md5sum war richtig, wenn md5sum unterschiedliche Werte liefert ist irgendwo mindestens ein Bit anders.

sha256sum tut das Selbe, nur ist die Wahrscheinlichkeit dass unterschiedliche Dateien durch "Zufall" die gleiche Prüfsumme bilden noch ein paar Millionenmal geringer als bei md5sum.

Bereits md5sum reicht für alle _Prüfsummen_ Anwendungen die du je im Leben benötigen wirst dicke aus. Es soll nur in der Kryptographie nicht mehr verwendet werden weil man da Angriffsmöglichkeiten gefunden hat.

In der Praxis reicht selbst ein CRC16 meist dicke aus... mit md5sum bist du schon auf dem richtigen Weg.
10.02.17, 13:43
marce

:-) in der Praxis reicht sogar ein diff meist aus :-) - auch wenn's für Binärdateien per se nicht gedacht ist.

... ok, es macht keinen Spaß bezüglich Geschwindkeit und so mit großen Dateien wie Images, aber das ist ja nicht er Punkt :-)
11.02.17, 11:16
florian0285

Zitat:

Zitat von Newbie314

sha256sum tut das Selbe
...
Bereits md5sum reicht für alle _Prüfsummen_ Anwendungen
... mit md5sum bist du schon auf dem richtigen Weg.

Nur so als Anmerkung. MD5Sum macht das selbe, aber wenn MD5Sum einen weg hat (z. B. Programmfehler) oder nicht mit 1TB Files umgehen kann, dann kann man das einfach ausschließen indem man die Menge X an anderen Programmen damit testet. Wenn diese das richtige Ergebnis liefern und MD5Sum nicht, dann liegts wohl nicht am Image sondern am Programm. Wenn diese ebenfalls ein falsches Ergebnis liefern liegts eher am Image oder der Größe und nicht am Programm.

Deswegen meine Empfehlung: Teste es zusätzlich mit sha ;)
19.02.17, 14:40
MuppetShow12

@Themenersteller: wie ist deine Kopieraktion inkl Checksummen ausgegangen? Hast du den Fehler gefunden?
27.02.17, 21:56
AndreasMeier

Nach diversen Fehlschlägen (Abbruch der Kopieraktion bei Abschluss) hab ich nun endlich die Datei ohne Fehlermeldung per cp-Befehl in der Konsole auf eine lokale Platte kopieren können.
Jetzt lass ich gerade sha512sum datei.iso > sha512.txt auf beiden Dateien durchlaufen und bin auf das Ergebnis gespannt.
Mit so großen Dateien macht das echt keinen Spaß :(
04.03.17, 16:33
AndreasMeier

Also, ich bin hoffentlich einen Schritt weiter gekommen.

Wie im letzten Beitrag schon beschrieben, hab ich die ISO-Datei aus dem TrueCrypt-Container per Konsole und CP-Befehl erfolgreich auf eine lokale Platte kopieren können.

Als nächstes hab ich auf Quell- und Ziel-ISO-Datei den Befehl sha512sum laufen lassen.
Dieser ging bei der lokalen Platte verhältnismäßig flott, bei dem TrueCrypt-Container dauerte das mehrere Tage.

Das Ergebnis von sha512sum hab ich jeweils in eine Textdatei sha512.txt gepiped.

Die Schlüssel sind identisch, das Ergebnis von diff siehe unten:

Code:

andreas@thinkpad-X220 /media/andreas/WD USB 2TB/images $ diff -s sha512.txt /media/veracrypt2/images/backup_orginalimage/sha512.txt Dateien sha512.txt und /media/veracrypt2/images/backup_orginalimage/sha512.txt sind identisch.

Damit hoffe ich, dass die Kopie zur Quell-Datei auch identisch kopiert wurde.

Das heißt, ich kann dann beruhigt die Orginaldatei aus dem Container löschen, oder?
04.03.17, 16:39
Newbie314

Ja, Original und Kopie sind mit astronomisch hoher Wahrscheinlichkeit identisch. Wenn die .iso so wichtig ist solltest du eine Zweitkopie auf separater Platte halten.
Für den Vergleich hätte es übrigens auch md5sum getan, das ist schneller. Nur die Wahrscheinlichkeit ist weniger astronomisch hoch wenn der Test ergibt die Dateien sind identisch.
04.03.17, 16:46
AndreasMeier

Vielen Dank für die Bestätigung, dann kann ich morgen endlich weiter arbeiten
04.03.17, 16:50
towo2099

Mal abgesehen davon, das ein dd-Image einer Platte/Partition niemals ein iso ist, auch wenn man dem erzeugten File diese Erweiterung gibt.