PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Kopieren mit CP auf eine smb Freigabe



peter23
08.07.09, 12:10
Hallo Leute,

ich habe mehrere SQL Datenbank Dums (ca. 70 GB), die ich auf eine SMB Freigabe auf unsere NAS schiebe. Die Dateien sollen jedesmal überschrieben werden.

Leider werden die Dateien nicht vollständig auf die Freigabe kopiert, sondern nur ein teil... es ist immer unterschiedlich, jedoch nie komplett.

Das ist mein Code, den ich jeden Tag per Cronjob ausführen lasse:


cd /pfad/zuden/dumps
cp -av *.sql /mnt/smbnas/xxx/xxx/ 2> /var/log/copy2nas.err

Zu der Zeit, an dem der Cronjob läuft wird in dem Ordner und an den Dateien auch nichts verändert.

Es werden keine Einträge im Error-Log geschrieben.

so habe ich die smb Share gemountet:

smbmount //SERVERIP/FREIGABE /mnt/MOUNTPOINT -o lfs,username=USERNAME%PASSWORT,dmask=700,fmask=600 ,uid=101,gid=1000,ip=10.70.20.110,debug=0

und das habe ich in die /etc/fstab eingetragen:

//SERVERIP/FREIGABE /mnt/MOUNTPOINT smbfs lfs,username=USERNAME,password=PASSWORD,ip=xx.xx.x x.xx 0 0

Der User hat volle Rechte auf die Share!

Weis jemand woran es liegen könnte, dass nicht alles komplett übertragen wird?

Vielen Dank im vorraus!

Gruß
Peter

Wene
08.07.09, 12:32
Weis jemand woran es liegen könnte, dass nicht alles komplett übertragen wird?

An zu wenig Platz auf dem Share?
An Netzwerkausfällen?
Keine Berechtigung auf einen Teil der Dumps im Quellverzeichnis?
etc...

Wie hast Du das Share gemountet? Per /etc/fstab oder mit dem manuellen Mountbefehl?

Wieso nimmst Du smbfs und nicht das neue cifs? Damit habe ich die besseren Erfahrungen gemacht.

Kannst Du die Dateien "manuell" kopieren? Also ohne Cron Job?

Was wird nicht kopiert? Ganze Dateien oder auch Teile davon?

Fragen über Fragen... Ein paar weitere Auskünfte über das verwendete System und die Netzwerkkonfiguration könnten ausserdem auch nicht schaden.

Stormbringer
08.07.09, 13:05
Welches filesystem läuft auf dem NAS?

peter23
08.07.09, 15:52
An zu wenig Platz auf dem Share?
An Netzwerkausfällen?
Platz ist mehr als genug vorhanden!




Keine Berechtigung auf einen Teil der Dumps im Quellverzeichnis?
etc...
Die Dumps haben alle die selben berechtigungen!




Wie hast Du das Share gemountet? Per /etc/fstab oder mit dem manuellen Mountbefehl?
Ich habe es erst manuell gemountet und dann in die /etc/fstab eingetragen. So wie oben angegeben.



Wieso nimmst Du smbfs und nicht das neue cifs? Damit habe ich die besseren Erfahrungen gemacht.
Werde es heute mal mit cifs ausprobieren. Muss da die Option lfs (large file system) mit angegeben werden oder entfällt es da? ich musste lfs mit angeben, da ich Dateien > 2GB zu kopieren hatte



Kannst Du die Dateien "manuell" kopieren? Also ohne Cron Job?
Beim manuellen kopieren verhält es sich genau so, wie im Cronjob.



Was wird nicht kopiert? Ganze Dateien oder auch Teile davon?
Ganze Dateien werden nicht kopiert. Manche Dateien nur zum Teil!!!



Fragen über Fragen... Ein paar weitere Auskünfte über das verwendete System und die Netzwerkkonfiguration könnten ausserdem auch nicht schaden.[/QUOTE]

SUSE LINUX Enterprise Server 9 (x86_64)
VERSION = 9
PATCHLEVEL = 2

Linux version 2.6.5-7.191-smp (geeko@buildhost) (gcc version 3.3.3 (SuSE Linux))

Dateisystem: reiserfs

Dateisystem der NAS: Ex2 (Thecus 5200)

muell200
08.07.09, 15:55
Ganze Dateien werden nicht kopiert. Manche Dateien nur zum Teil!!!


hallo

hatte mal den gleichen "fehler"
bei mir war dann ein speicher defekt :)

peter23
08.07.09, 16:30
hallo

hatte mal den gleichen "fehler"
bei mir war dann ein speicher defekt :)


mit speicher meinst du die festplatte? Die überwache ich. da Scheint alles i.o. zu sein.
Da kommen auch andere Dateien von anderen Servern auf die NAS per RSYNC an. Da funktioniert alles ohne Probleme!


Ich habe die Share jetzt per cifs gemountet und den Backup nochmal gestartet. Irgendwie ist es jetzt viel langsamer als mit smbfs! Kann es an CIFS liegen?

fubar
08.07.09, 16:40
mit speicher meinst du die festplatte?
Nein, er meint den Arbeitsspeicher/RAM...

peter23
08.07.09, 17:12
Nein, er meint den Arbeitsspeicher/RAM...

@ muell

wie bist du darauf gekommen, dass es der ram war?

ganz ausschließen würde ich das auch nicht...

muell200
08.07.09, 18:02
@ muell

wie bist du darauf gekommen, dass es der ram war?


speicher getestet


memtest

oziris
08.07.09, 19:29
Was Stormbringer gefragt hat, finde ich auch sehr plausibel. Bitte vergesst das nicht.

PS: Ich fand SMB eigentlich besser als CIFS, weil bei CIFS die Inhalte nach dem mounten erst verzögert erscheinen. Kann sein, dass das an dem Windows liegt, von dem die Freigabe kommt. Ich kenne mich da nicht so aus. Ich weiß nur: Früher ging sowas wie "mount $share /mnt/foo && mount $whatever /mnt/foo/bar" und jetzt geht es nicht mehr. Jetzt muss man zwischendrin ein "sleep" mit dabei haben bzw. sowas wie "while ! ls /mnt/foo/bar; do sleep 1; done" oder mit test oder so. Das bedeutet natürlich auch, dass es in der fstab beim Systemstart so nicht mehr läuft. Muss in die rc.local (oder je nachdem, wie die bei den Distros so heißt). :(

peter23
09.07.09, 08:22
speicher getestet


memtest

Ich habe tatsächlich mal über nacht den ram mittels memtest86+ getestet.
Ergebnis: 0 errors



Was Stormbringer gefragt hat, finde ich auch sehr plausibel. Bitte vergesst das nicht.

das Zielsdateisystem auf dem Nas ist ext2 (Es ist eine Thecus 5200 NAS Kiste)!

Ich habe bei cifs immer noch das Problem, dass es extrem langsam ist. Es hat in ca. 1 Std. ca. 1 GB übertragen :eek:

Stormbringer
09.07.09, 09:00
Habt ihr das NAS an einem Netgear-Switch hängen?
(http://www.thecus.com/Downloads/N5200_N5200PRO_1U4500_FWRN_v20109.pdf)

peter23
09.07.09, 09:35
Habt ihr das NAS an einem Netgear-Switch hängen?
(http://www.thecus.com/Downloads/N5200_N5200PRO_1U4500_FWRN_v20109.pdf)

ne auch nicht. es ist ein linksysswitch. Allerdings sind quell und ziel server auf 2 (linksys) switche, die miteinander verbunden sind.

Isengard
09.07.09, 15:48
Bei CIFS kannst Du den lfs Schalter in der fstab weglassen soweit ich weiss und es hier mein Server auch bestätigt.

Hast Du tmpfs am laufen? Bei mir ist das Kopieren von großen Daten immer wegen der Auslagerung gescheitert (hatte nur "256MB" fest angelegt, nach Erhöhung auf 768MB gings dann). Allerdings bewegten sich meine Daten nur auf 2 - 10 GB pro Datei.

Was auch wichtig ist, ist die Netzwerkgeschwindigkeit. Vereinzelt konnte ich feststellen das die Windows XP/2003 Kisten Probleme hatten, da es mit dem schnellen Datenstrom (Linux haut ja raus was geht) nicht Zurecht kam. Allerdings hatte ich das nur in 2 Fällen von 15.

peter23
09.07.09, 17:00
Bei CIFS kannst Du den lfs Schalter in der fstab weglassen soweit ich weiss und es hier mein Server auch bestätigt.

Hast Du tmpfs am laufen? Bei mir ist das Kopieren von großen Daten immer wegen der Auslagerung gescheitert (hatte nur "256MB" fest angelegt, nach Erhöhung auf 768MB gings dann). Allerdings bewegten sich meine Daten nur auf 2 - 10 GB pro Datei.

Was auch wichtig ist, ist die Netzwerkgeschwindigkeit. Vereinzelt konnte ich feststellen das die Windows XP/2003 Kisten Probleme hatten, da es mit dem schnellen Datenstrom (Linux haut ja raus was geht) nicht Zurecht kam. Allerdings hatte ich das nur in 2 Fällen von 15.

tmpfs habe ich nicht. der server hat 16 GB Ram.

Ich habe testweise einmal per cifs gemountet und einmal per smbfs

Das kopieren auf die cifs share ist extremst langsam..
Das kopieren auf die smbfs share ist super schnell --> allerdings läuft es nicht komplett durch! :mad:

Das kann also auch nicht an der Anbindung liegen! Es stimmt irgendwas mit dem cifs nicht. aber was?

Stormbringer
09.07.09, 17:16
Veraltete, buggy (?) samba Version?
Welche nutzt Du?

bb83
09.07.09, 18:17
Probiere es doch mal testweise mit


rsync -avz --progress /quell /ziel
Finde ich persönlich zum syncen ehe geigneter

Wene
09.07.09, 22:23
SUSE LINUX Enterprise Server 9 (x86_64)

Ob hier der CIFS Treiber schon stabil war weiss ich nicht. Version 9 ist ja jetzt auch schon ziemlich in die Jahre gekommen. Schon man an aktualisieren gedacht?

Wenn Quelle und Ziel Linux Systeme sind (zu erkennen an dem Ext2 Dateisystem), wieso verwendest Du dann nicht NFS zur Datenübertragung? Wieso ein Dateisystem (SMBFS) von dem keine offizielle (vollständige) Dokumentation existiert?

peter23
10.07.09, 12:27
Ob hier der CIFS Treiber schon stabil war weiss ich nicht. Version 9 ist ja jetzt auch schon ziemlich in die Jahre gekommen. Schon man an aktualisieren gedacht?

Wenn Quelle und Ziel Linux Systeme sind (zu erkennen an dem Ext2 Dateisystem), wieso verwendest Du dann nicht NFS zur Datenübertragung? Wieso ein Dateisystem (SMBFS) von dem keine offizielle (vollständige) Dokumentation existiert?

anfangs habe ich nfs benutzt. Dort kann ich jedoch keine Dateien > 2GB kopieren. Wieso ist das eigentlich so???
Großartig archivieren und dateien splitten will ich nicht!

ich habe gestern mal die option -a weggelassen, weil es eigentlich nicht nötig ist und es ist vollständig durchgelaufen (über smbfs).

mborchi
15.07.09, 10:45
anfangs habe ich nfs benutzt. Dort kann ich jedoch keine Dateien > 2GB kopieren. Wieso ist das eigentlich so???


sieh dir mal folgendes an: http://lists.debian.org/debian-user-german/2006/05/msg00349.html sowie die darauffolgende antwort
du musst eine sehr alte version von nfs am laufen haben, bereits version 3 kann mit dateien >2gb umgehen. derzeit ist version 4 aktuell.