PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : rsync optimieren



Dono
15.11.10, 10:07
Hallo!

Ich übertrage tar.gz Datei mit rsync und ssh.
Kann man die Übertragung noch irgendwie optimieren?
Die tar.gz Datei ändert sich vom Inhalt nur wenig, muss jedoch immer komplett übertragen werden.

Gruß
Dono

marce
15.11.10, 10:17
keine Komprimierung verwenden - damit erhältst Du eine komplett andere Datei, die wohl nur "aus Zufall" in einigen Stellen mit der alten übereinstimmt.

Bei sich nur wenig oder/und selten ändernden Daten fäht man bei rsync meist besser, wenn man eben die oiginalen Daten synct und auf den Zielsystem erst zusammenpackt... (wenn man dot ein tar.gz haben will oder muss)

muell200
15.11.10, 10:40
Kann man die Übertragung noch irgendwie optimieren?


was optimieren?
was geht nicht?

@dono du liebst raetselspiele - oder?

marce
15.11.10, 10:41
@muell200 - hm, ich habe glaube ich verstanden, was er will. Steht doch eigentlich auch deutlichst da...

muell200
15.11.10, 10:47
@muell200 - hm, ich habe glaube ich verstanden, was er will. Steht doch eigentlich auch deutlichst da...

ja aber die themen von @dono muss man immer 2x lesen und raten was er will...
( so geht es mir mal... )

- koennte netzwerk probleme sein
- zeit probleme
- sonstiges

warum will er optimieren?

marce
15.11.10, 10:50
also jetzt übertreibst Du...

Er überträgt ein tar.gz, dessen Inhalt sich nur wenig ändert und möchte, daß dabei nicht immer die komplette Datei übertragen wird.
Wo Du da was von Zeit- oder Netzwerkproblemen herausliest entzieht sich meine Phantasie.

muell200
15.11.10, 10:55
also jetzt übertreibst Du...

Er überträgt ein tar.gz, dessen Inhalt sich nur wenig ändert und möchte, daß dabei nicht immer die komplette Datei übertragen wird.
Wo Du da was von Zeit- oder Netzwerkproblemen herausliest entzieht sich meine Phantasie.

warum will er nicht die kompletten daten uebertragen...
-> wenn es funktioniert?

aber wie du sagst, das ist ansichtssache...
( oder habe ich heute noch zuwenig kaffee getrunken... :) )

Dono
15.11.10, 11:25
Ganz einfach. Man kann 10G übertragen und es dauert viele Stunden oder man optimiert und es dauert nur einige Minuten. (also Zeitprobleme)
(Stichwort byte caching o.ä. oder sparse.tar.gz)
Es funktioniert alles, nur schneller wäre besser.
Die Antworten von marce geht in die richtige Richtung.
Jedoch muss es auf der Quelle eine tar.gz sein.

muell200
15.11.10, 11:28
Die Antworten von marce geht in die richtige Richtung.


welche paramter bei rsync verwendest du?

marce
15.11.10, 11:28
wenn es seitens der Quelle eine tar.gz sein muss hast Du meine Meinung keine Chance - da sich eben auch durch kleine Verändungen die komplette Datei verändert.

Evtl. bei einer reinen tar-Datei....

Dono
15.11.10, 12:27
Muss ich mal sehen, ob eine reine tar Datei auch möglich ist.
Im Moment benutze ich folgende Parameter:
rsync -Rav --numeric-ids --bwlimit=800 --delete -e ssh

muell200
15.11.10, 12:34
rsync -Rav --numeric-ids --bwlimit=800 --delete -e ssh

evt. mal ohne ssh versuchen bzw. mit der option -z