scp - "reset bei peer" bei großer Datei

[stehlampe]

Hallo zusammen!
Ich möchte eine ca. 34GB große Datei (.tar.gz) mit scp auf eine via DSL (16000er) angebundene Linux-Maschine herunterladen. Bis zu einer Dateigröße von 32GB ging das immer ohne Probleme, doch mit der jetzigen Dateigröße klappt das nicht mehr. Die Verbindung wird immer bei ca. 33GB mit "connection by peer" abgebrochen. Da der Transfer auf einen anderen Root-Server mit 100MBit ohne Probleme klappt, tippe ich auf einen TimeOut.

Leider bin ich bei meiner Suche im Netz auf nichts verwertbares gestoßen und hoffe das ihr eine Idee habt, wo ich den Hebel ansetzen könnte um das Problem zu lösen.

Vielen Dank im Voraus,

Stehlampe

[Aqualung]

Wie lange dauerte denn der download von den 32G? Ist evtl. die Zwangstrennung bei DSL mit IP-Wechsel das Problem?

[DrunkenFreak]

Ein Workaraount: Teil die Datei mit split auf und füge sie nachher wieder mit cat zusammen

so long

[stehlampe]

Hallo!
Nein, die Zwangstrennung ist definitiv nicht dafür verantwortlich. Diese ist im Router auf 8Uhr eingestellt und der Download dauert bei einer Übertragungsrate irgendwas bei 5 Stunden.

S#

[stehlampe]

Ein Workaraount: Teil die Datei mit split auf und füge sie nachher wieder mit cat zusammen

so long

Daran hatte ich auch schon gedacht und auf lange Sicht bleibt mir wohl auch nichts anderes übrig, da die Datei wohl noch auf 80GB anwachsen kann.

Dennoch würde mich interessieren woran es liegen könnte!?

Da ja per scp oder rsync in jeden Fall der ssh seine Finger im Spiel hat habe ich mich hier mal umgeschaut, in der sshd_config habe ich aber keinen Wert auffinden können, der eine maximale Verbindungsdauer vorgibt.

Dennoch vielen Dank für deinen Hinweis,

S#

[Aqualung]

Wie hier (http://platonic.techfiz.info/2008/07/25/unable-to-scp-large-files/) hast Du es schon erfolglos probiert?

[stehlampe]

Hallo!
Per rsync hatte ich es bereits probiert, nicht aber mit der Syntax aus deinem Link. Derzeit läuft die Übertragung und in 6 Stunden kann ich dir mehr sagen.

Danke für deine Mühen,

S#

[marce]

Hallo!
Nein, die Zwangstrennung ist definitiv nicht dafür verantwortlich. Diese ist im Router auf 8Uhr eingestellt und der Download dauert bei einer Übertragungsrate irgendwas bei 5 Stunden.

S#
Nur doof mal gefragt: Du bist Du auch sicher, daß der Provider sich daran hält und nicht eigenständig noch "spassige Dinge" treibt?

Ansonsten kann ich keine Probleme beim SCP mit großen Dateien vermelden - ist zwar hier kein DSL sondern eine Standleitung aber 50, 60 GB sind problemlos.

[stehlampe]

Hallo marce!


Nur doof mal gefragt: Du bist Du auch sicher, daß der Provider sich daran hält und nicht eigenständig noch "spassige Dinge" treibt?

Na, zumindest ist es so im Router eingetragen und sollte sich deshalb so eingespielt haben. Mit Sicherheit sagen kann ich das allerdings nicht.

Für die Übertragung der Datei gibt mir scp ca. 6 Stunden an und egal wann ich es versuche (morgens, mittags, abends oder nachts), bei etwas mehr 32GB ist Schluss. Von daher habe ich die Zwangstrennung ausgeschlossen.


Ansonsten kann ich keine Probleme beim SCP mit großen Dateien vermelden - ist zwar hier kein DSL sondern eine Standleitung aber 50, 60 GB sind problemlos.

Ist hier genauso. Auf einen anderen Server (via 100MBit) geht das ganze problemlos über die Bühne. Deshalb ja auch die Frage nach dem TimeOut beim SSH.

Ich habe mittlerweile auch mit "ClientAliveInterval" in der sshd_config experimentiert, leider auch ohne Ergebnis.

Viele Grüße,

S#

[stehlampe]

Hallo Aqualung,

--partial war scheinbar der richtige Tipp. Die Option habe ich der manpage völlig übersehen. Super, so kann ich den Download jederzeit unterbrechen und dann an der jeweiligen Stelle wieder aufnehmen.

S#