Zwei Verzeichnise sycnronisiern

[thebrain05]

Hallo,


ich möchte gerne zwei verzeichnise auf zwei verschieden Servern synchron halten( beides Linux). Der eine Server steht bei uns Local hier der andere an einem anderen Standort. Beide sind durch einen VPN-Tunnel verbunden.

Per ssh komme ich auf den entwernten Server drauf, habe dort aber keine Rootrechte auf den Localen schon.

Die Datenmenge beläuft sich so auf 350 GB. Sie sind relativ gleich.
Wir es schon mit unsion versucht, leider dauert das. Und man kann auch nicht aufeinmal alles syncen weil die Server antwort zu lange dauert.
Wenn jemand weißt wie man das beschleunigen, wäre ich da auch zufrieden mit.

Aber auch über eine andere Alternative würde ich mich freuen. SFTP ist auch möglich.

Kann mir jemand helfen.

Gruß
thebrain05

[cane]

Rsync ist definitiv das richtige Mittel zum Zweck um hier und da zu synchronisieren.

Wir es schon mit unsion versucht, leider dauert das. Und man kann auch nicht aufeinmal alles syncen weil die Server antwort zu lange dauert.

Definiere "Antwort".
Wie schnell ist die Anbindung?
Wieviele Daten ändern sich pro Tag?
Wie oft soll synchronisiert werden?
Oder sollen die Verzeichnisse ständig synchron sein (das wäre dann was anderes).

mfg
cane

[linuxazubi]

vielleicht ist unison was für dich?!

[thebrain05]

Also das heißt.

das wenn Unison durchgelaufen ist, das er auf die Anwort wartet von der gegenstelle. Und wenn ich alles nehme oder Verzeichnisse größer 6 GB das dann nach einiger Zeit er sagt das die Verbindung unterbrochen wurde bzw. der Server nicht anwortet.

Anbindung: 16 M/Bit
Die Änderung der Daten können sich von paar MB bis zu 3-4 GB am Tag ändern.
die Verzeichnisse sollen beide jede Nacht synchronisiert werden (entscheidung intern) und zwar so das Dateien hier Local die auf dem Entfernen Server überschreiben, wenn sich die Datei auf beiden Seiten geändert hat.

Ich hoffe es ist klar was wir wollen.
Bildlich:
local <-----> entfernter Server
Datei alt <------ Datei neu
Datei neu -------> Datei Alt
Datei neu <------ Datei neu


Wie kann ich denn Unison beschleunigen

[craano]

Wie kann ich denn Unison beschleunigen

http://www.cis.upenn.edu/~bcpierce/u...on-manual.html

Slow Links
Unison is built to run well even over relatively slow links such as modems and DSL connections.

Unison uses the “rsync protocol” designed by Andrew Tridgell and Paul Mackerras to greatly speed up transfers of large files in which only small changes have been made. More information about the rsync protocol can be found at the rsync web site (http://samba.anu.edu.au/rsync/).

If you are using Unison with ssh, you may get some speed improvement by enabling ssh's compression feature. Do this by adding the option “-rshargs -C” to the command line or “rshargs = -C” to your profile.

[thebrain05]

Das habe ich auch schon gesehn. Aber habe ich dann immer noch den Vorteil von Unison das in beide Richtung gesynct wird. so wie ich es beschrieben habe????

Das ist wichtig.

[cane]

Was sollte die Komprimierung der Daten damit zu tun haben?

Ansonsten kannst Du dir ja recht einfach ausrechnen wie lange es dauert.
Ist die 16 Mbps Leitung eine SDSL oder eine ADSL Leitung, falls letzteres wie hoch ist der Upstream?

bei 16 Mbps Downstream wird der Transfer von 4 GB per Rsync über SSH IMO schon ne Stunde dauern...


mfg
cane

[thebrain05]

Es ist eine ADSL Leitung 16 down 1 up.

Gibt es eine alternative unter linux zu Unison?? was vielleicht schneller ist? Sollte wenn möglich kein Geld kosten.

[cane]

Gibt es eine alternative unter linux zu Unison?? was vielleicht schneller ist? Sollte wenn möglich kein Geld kosten.

Wie soll etwas schneller sein als die zur Verfügung stehende Bandbreite

Beschreib doch mal das genaue Konzept, warum die Verzeichnisse synchron gehalten werden müssen, welche Dienste mit den Dateien arbeiten, ....

mfg
cane

[thebrain05]

Der Grund ist einfach das wir die Dateien an zwei Standorten brauchen, weil wir verschiedene Büro's haben. Die einen greifen auf den Localen zu die anderen auf den Entfernten.

Es müssten nur dateien ausgetauscht werden. Damit sowohl local aus auf entfernt gearbeitet werden, an zwar an verschiedenen Dateien aber z.b. im selben projekt.

[zyrusthc]

Der Grund ist einfach das wir die Dateien an zwei Standorten brauchen, weil wir verschiedene Büro's haben. Die einen greifen auf den Localen zu die anderen auf den Entfernten.

Es müssten nur dateien ausgetauscht werden. Damit sowohl local aus auf entfernt gearbeitet werden, an zwar an verschiedenen Dateien aber z.b. im selben projekt.

In dem Fall währe VPN angebracht!

Über VPN können z.B. lokale Netze mehrerer Geschäftsstellen über das Internet auf eine sichere Art miteinander verbunden werden (eine so genannte Site-to-Site-Verbindung).

Greeez Oli

[cane]

Der Grund ist einfach das wir die Dateien an zwei Standorten brauchen, weil wir verschiedene Büro's haben. Die einen greifen auf den Localen zu die anderen auf den Entfernten.

Es müssten nur dateien ausgetauscht werden. Damit sowohl local aus auf entfernt gearbeitet werden, an zwar an verschiedenen Dateien aber z.b. im selben projekt.

Es ändern sich pro Tag 3-4 GB "Dateien" die für Projektarbeit genutzt werden? Was sind das für Dateien, wie geschäftskritisch sind sie, wieviel Verlust entsteht dem Unternehmen dadurch das momentan erst mit Verzögerungen im Tagesbereich auf die Daten zugegriffen werden kann?

Eventuell könnte Deduplizierung oder der Einsatz eines WOC eine Lösung sein. Das hängt aber stark von den verwendeten Dateien ab. Wieviele Duplikate existieren in den zu synchronisierenden Beständen, was für Dateien sind es prozentual, ...


Mach doch mal bitte genauere Angaben und lass uns nicht immer raten

mfg
cane

[thebrain05]

Also eine VPN-Verbindung haben wir zwischen den Standorten.

Also die Große Datenmenge kommt dadurch zustande das um Content handelt, der produziert wird, für verschiedene Bereich, Flash, Java, etc. Und dieser soll allen Büros zur Verfügung stehen soll. Mit der Verzögerung von einem Tag. Gleichzeitig ist eine Art Backup, das aber nur am Rand. Welche Info's braucht ihr noch.

[cane]

Mit der Verzögerung von einem Tag.

Dann erhöhe einfach den Upstream der Verbindung / miete eine Verbindung mit höherer Bandbreite an.

Es gibt IMO nur die Möglichkeiten:

- Bandbreite erhöhen
- WOC verwenden
- Offices zusammenlegen

mfg
cane

[thebrain05]

OK,

das erste kommt leider nicht in frage.

das zweite kenne ich nicht das ist das??

und das 3te. geht garnicht. da es 5 Verschiedene sind in der Welt