PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Rsync-Abbruch Linux->W2K



Miru
06.12.05, 13:23
Hallo,

Ausgangssituatuion:
W2K-Server mit 1 TB-RAID (Workflow mit Oracle-DB)
Sun-Server mit 2,9 TB-RAID (Datei- und Print-Server)
Linux-Server mit 6,9 TB-RAID (Reiner Rsync-Server für smb und nfs)
(Suse 9.3/2.6.11.4-21.9 mit Samba 3.0.13-1.1)

Der rsync auf der SUN zum Linux wird seitens SUN via nfs gemacht.

Da beim W2K durch cygwin/rsync die CPU-Last ständig auf 100% hochschnellt, gehe ich dort den anderen Weg ... ich mounte via smbfs das W2K-RAID zum Linux-Server und führe dort den rsync quasi als Client aus. Die CPU-Last auf'm W2K ist dann nur 8-10% und dann macht Oracle auch keinen Stress mehr.

Das Ganze läuft seit etlichen Wochen ohne Probleme und stressfrei.

Letztes Wochenende sollte das W2K-RAID mit neuen HDs auch auf 2,9 TB hochgerüstet werden. So weit so gut ... die Mounts wie gehabt, aber der rsync sollte jetzt quasi rückwärts zum W2K laufen.

Mit einer Transfer-Leistung von ca. 1,5-2GB/Min. war man ganz zufrieden.

Doch leider brach die Rücksicherung nach ca. 170GB ab ... und wir hatten schon Feierabend gemacht und null Fernwartungsoption ... dumm gelaufen :-(

Fehler:
kernel: smb_lookup: find Jobs/xyz failed, error=-512

Es sah so aus, als wenn Linux diese Datei rübergebracht hatte, aber dann diese auf'm W2K nicht finden konnte.

Googlen brachte mich nicht wirklich weiter ... maybe ein TimeOut.

Derzeitig überlege ich, ob ich den Mount von SMBFS auf CIFS ändern soll ...

weiss jemand mehr oder einen Rat, fragt Miru

emba
08.12.05, 10:30
jop, probier mal cifs
einige smbfs implementationen unter 2.6 kernel hatten derbe probleme

greez

Miru
09.12.05, 06:02
Umstellung auf CIFS gemacht ... nächster RAID-Umrüstungsversuch dann am Wochenende in 8 Tagen.

Danke Miru

Thallez
14.12.05, 02:02
Teste doch mal cwrsync für Windows das läuft bei mir ohne Probleme
Link (http://www.itefix.no/phpws/index.php?module=pagemaster&PAGE_user_op=view_page&PAGE_id=6&MMN_position=128:123)

Miru
28.12.05, 17:39
Hallo,

jetzt nochmal zum Stand der Dinge.

Die Umstellung auf CIFS hat nach zwei Wochen eine sehr instabile Umgebung hinterlassen.

1. Augenscheinlich wurde die FileList auf dem W2K nicht immer komplett erstellt, so daß es beim rsync mit der Option --delete zum Teil ein komplett leeres Zielsystem gab.

2. Mit der Mount-Option cifs kam es zweimal zu einem harten Stillstand des gesamten Linux-Systems, ohne dass wirklich verwertbare Fehlermeldung hinterlassen wurden.

Frage zu cwrsync: Wie verhält sich das bzgl. Performance?
Die Cygwin-Lösung brachte die Maschine bis zum Anschlag, so dass dann gar nichts mehr ging ... und wenn sich dann die Oracle-Datenbank aufhängte, war der Stress auch immer nicht gerade nett ... zumal es eine uralte Version ist, obwohl das ganze System nicht mal 2 Jahre alt ist ... und leider befindet sich dieser W2K-Server in einem Wartungsvertrag eines Workflow-Anbieter, welcher aber auch keine Backup-to-Disk oder -Tape-Lösung anbietet.

Kann sich jemand vorstellen, was beim o.g. Punkt 1 jetzt auf einmal abgeht ... es hat ja schon mal einige Zeit funktioniert ... ist da jetzt das NTFS korrupt und/oder Windows teilweise überlastet ... meine Vermutung geht in Richtung Fragmentation ... System fast bis 97-98% seit längerem voll ... deswegen soll ja auch die Aufrüstung auf 2TB gemacht werden, was bis jetzt daran scheitert, dass ich keinen konsitenten RSync-Spiegel habe.

Fragt Miru

emba
28.12.05, 23:43
ich kann mir nicht vorstellen, dass bei der verwendung von cifs/rsync solche derben probleme auftreten

bitte versuche es nochmals mit ganz frischen versionen der beiden "tools"
ein anderer weg waere noch, von windows aus eine smb freigabe zu mounten und mit einem zuverlaessigen tool von windows seite aus zu syncen (beyond compare)

greez

Miru
26.01.06, 17:31
Hallo zusammen,

nachdem ich Anfang Januar den Samba-Client nochmal aktualisiert hatte, hat meine gewünschte Konstellation eigentlich prima geklappt.

Seit diesem Dienstag ... ohne irgendwelche Änderungen ... geht das Theater schon wieder los.

In diesem SMBFS-Mount vom W2K-Server gibt es auf unterster Ebene ca. 10 Verzeichnisse. 9 von denen haben zwischen 5 und 500 Dateien mit Unter-Verzeichnissen.

Aber ein Verzeichnis (Jobs) hat viele tausende ... keiner weiss wieviele ;-( Versucht man dieses auf dem W2K-Server oder einem SMB- bzw. AFP-Clients zu ermitteln, geht das Teil derartig in Volllast, dass nichts mehr geht oder es sogar abstürzt ... wer weiss das schon bei M$.

Interessant ist aber ein Umstand: Alle Windows- bzw. MacOS9/X-Clients können via SMB oder auch AFP alle Dateien im Unterverzeichnis Jobs zumindest sehen. Der Suse-9.3-Samba3.0.21a-Clients sieht aktuell 0 Datei(en).

Hat dazu jemand eine Idee ... ich google mir hier 'nen Wolf.

Fragt Miru

emba
26.01.06, 18:12
wie sieht es denn mit nem cifs mount aus (3.0.21a)

greez

Miru
26.01.06, 18:49
Noch nicht probiert ... dieses Wochenende muss ich an die Kisten wieder ran ... hab' gerade gesehen, dass neue rpms vom 20.01.06 da sind ... ab damit auf'n Stick.

Mal schauen ... ob ich das mal irgendwann stabil bekomme.

Danke Miru

Miru
27.01.06, 16:26
So jetzt habe ich alles noch mal auf die Version 3.0.21-3.11 vom 20.01.06 upgedatet und wieder cifs als Mount-Option ... und ich sehe wieder Daten im Unterverzeichnis ./Jobs. Heute Nacht wird dann der rsync für das Terabyte gestartet ... mal sehen, wie's dann bis morgen so läuft :-)

Danke Miru