Doppelte Dateien löschen, wenn in einem anderen Verzeichnis vorhanden.

**ferdi1** · 25.06.21, 20:55

Ausgangssituation
VERZEICHNIS-1 enthält alle wesentlichen Dateien
VERZEICHNIS-2 enthält viele Duplikate (auch unter anderem Namen) und einige Dateien, die nicht unter VERZEICHNIS-1 gespeichert sind.

Das möchte ich erreichen:
Jede Datei unterhalb VERZEICHNIS-2, die irgendwo unterhalb VERZEICHNIS-1 zu finden ist soll gelöscht werden.

Duplikate in VERZEICHNIS-2 sollen gelöscht werden
Alle anderen Dateien sollen dort erhalten bleiben.

Doppelte Dateien unter VERZEICHNIS-1 sollen auf keinen Fall gelöscht werden. (Hier ist mein Problem. Ohne diese Bedingung ist die Aufgabe leicht.)

Aktuell gehe ich diesen Weg:

Code:

fdupes -r  VERZEICHNIS-1/ VERZEICHNIS-2/ > doppelt.txt

Code:

mousepad doppelt.txt

Ersetze alles was "VERZEICHNIS-2" nach "rm VERZEICHNIS-2"
Ersetze alles was "VERZEICHNIS-1" nach "# VERZEICHNIS-1"

Code:

chmod u+x doppelt.txt
./doppelt.txt

Gibt es einen einfacheren Weg irgend einem Komandozeilenprogramm mitzugeben, dass nur im VERZEICHNIS-2 gelöscht werden soll?

fdupes, jdupes, rdfind, dupseek ...

**Aqualung** · 27.06.21, 07:39

Ungetestet, 100%ig noch Fehler drin

Code:

rm  /tmp/wanted_hashes.txt > /dev/null 2>&1
cd VERZEICHNIS-1
find . -type f  | while read f;do 
    md5sum "$f" >> /tmp/wanted_hashes.txt 
done 

cd VERZEICHNIS-2
find . -type f  | while read f; do
    akt_hash=`md5sum "$f" | awk '{print $1}'`
    grep  $akt_hash /tmp/wanted_hashes.txt && echo "$f" 
done

Im ersten Schritt wird eine Liste mit erwünschten Hashes in Verzeichnis-1 erzeugt.
Im zweiten Schritt wird Verzeichnis-2 rekursiv durchsucht.
Ist der aktuelle Hash in der Liste aus Schritt 1 vorhanden, so soll die betroffene Datei gelöscht werden.
Zum Test habe ich statt "rm" ein "echo" verwendet.

**ferdi1** · 03.07.21, 21:36

Danke, werde ich probieren.

Nach dem erfolgreichen Hash-Vergleich werde ich vor dem Löschen besser noch ein diff durchführen.

**marce** · 04.07.21, 07:21

den kannst Du Dir sparen - wenn der Hash passt sind die Dateien identisch.

ok, es gibt eine mathematische Chance - von dem her nimm halt statt md5 sha256 - aber die Chance, daß Du "der Glückliche" bist...