Rync: Starten von mehreren Rsyncs

[karl-heinz-lnx]

Hallo zusammen,

ich habe Fragen zu Rsync. Nicht zu den Parametern sondern, wie mehrere Rsyncs gestartet werden können.

Folgendes liegt bei mir vor:
4 Rechner, ich nenne die mal A, B, C und D und jeweils 2 Festplatten von diesen, die nenne ich jetzt mal 1-1 und 1-2, 2-1, 2-2, 3-1, 3-2, 4-1 und 4-2. Die erste Festplatte des jeweiligen Systems sollen nur ein Rsync mit der ersten Platte machen, die zweiten ebenso. Folgendes gibt auch noch, nur zur Klarstellung, die Platten 1-1 und 1-2 sind jeweils die Platten von denen der Rsync gemacht werden soll, mit diesen arbeite ich. Desweitern ist sichergestellt, dass keine anderen Festplattenaktivitiäten bei allen Festplatten während eines Rsyncs laufen.

Also gibt es die folgenden 6 Rsyncs zu machen:
1) A:1-1 - B:2-1
2) A:1-2 - B:2-2
3) A:1-1 - C:3-1
4) A:1-2 - C:3-2
5) A:1-1 - D:4-1
6) A:1-2 - D:4-2

So hier meine Fragen: sollte man die Rsyncs 1) und 2) parallel starten? Oder ist das für die Ausführungsdauer nicht gut? Wenn ja, wovon hängt das ab? CPU/Festplattenanbindung oder was anderes? Oder kann man die Rsyncs parallel starten, sollte aber den Rsnyc 2) von Rechner B aus starten?
Oder kann man alle 6 Rsyncs parallel starten? Da weiß ich allerdings nicht, ob es da nicht Probleme mit dem Zugriff auf die Festplatten gibt. Weil in dem Fall ja die Festplatte 1-1 3 Syncs parallel laufen würden, bei der Festplatte 1-2 genauso.

Es ginge auch den Rsync 5) und 6) nicht von Rechner A aus zu machen sondern von Rechner B, weil beim Rsync immer eine exakte Kopie der Festplatte gemacht wird. Etweige alte Versionen von Dateien interessieren mich in diesem Fall nicht (aber nur in diesem Fall).

Die Festplatte 1-1 hat aktuell 4 TB mit 2,9 TB belegt und 1,1 TB freien Platz, Anzahl der Objekte ca. 150.000.
Die Festplatte 1-2 hat aktuell 4 TB mit 2,0 TB belegt und 1,9 TB freien Platz, Anzahl der Objekte ca. 180.000.
Nur damit Ihr vielleicht versteht, warum ich die Fragen stelle. Ein Rsync dauert schon ein bißchen was.

Wie würdet Ihr das Problem lösen? Über Ideen oder andere Möglichkeiten wäre ich erfreut.

[Huhn Hur Tu]

In einem solchen Fall hilft nur "ausprobieren" und messen. Kann dein Storage die IO oder nicht, hat das system genug Ressourcen, dass der darauf laufende Service nicht beeintrachtigt wird. Evtl. kann man mit cpulimit und renice das ganze ausbalanzieren.
Der groesste Showstopper koennte hier das Netzwerk dazwischen sein.
Das ganze sieht wie ein Backup aus, evtl. schaust du dir mal "borg-backup" an oder wenn du die Daten auf verschiedenen Rechnern brauchst wuerde sich evtl. ein zentraler Storage anbieten, dann faellt der sync weg und du kannst dort Datenduplizierung/backup betreiben so viel du willst.

[karl-heinz-lnx]

Danke dir

Heute mal einen Test gemacht als 4 Platten synchron waren. Der rsync hat mal gerade 15 bis 30 Sekunden für jede einzelne Festplatte benötigt.
Da denke ich, das liegt an den Festplatten, das sind nämlich unterschiedliche Hersteller.

Ressourcen dürften kein Problem auf den Rechnern sein, da läuft nicht wirklich viel drauf.
Netzwerk war nur WLAN, das liese sich noch verbessern.

Backup benötige ich nicht, da liegen nur Musikdateien drauf und da benötige ich keine Versionen.

[Huhn Hur Tu]

Solange die Synchron sind, braucht das Ding wirklich nicht lange, aber so wie ich das lese, ein Fall fuer zentralem Storage mit etwas redundanz, Ceph/softraid/zfs/btrfs

[karl-heinz-lnx]

Das wäre die bessere Lösung. Nur ist das bei mir gerade ein Problem mit den zusätzlichen Netzteil, die die Lösung benötigt.

[marce]

Einfach 'ne USB-Platte an den Router anschließen? Fast alle aktuellen Geräte können inzwischen so Netzwerkshares bereitstellen.

[karl-heinz-lnx]

Danke, Marce. Hab diesbezüglich noch ein altes Teil von Vodafone, dieser kann das definitiv nicht. Die Idee lass ich mir mal durch den Kopf gehen. Dann wäre allerdings ein neuer Router von Nöten.