PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Speedproblem bei NFS Verbindung



aerosol
21.08.06, 16:36
Hallo ersmal ...

also Ich habe einen Backup-Server und einen NetApp Filer FAS270 als Datengrab. Beide sind mit einer 1 gigabit Verbindung angeschlossen. Der Backup Server soll nun (wäre hätte es gedacht;) ) die Daten des Filers sichern.

Ich realisiere das nun mit der Software "synbak" + ein paar Modifikationen. Die Modifikation besteht hauptsächlich aus einer Anpassung der Blocksize und dem Einbau des "mbuffer" um Die Daten im RAM zwischenzuspeichern, um mit der vollen Geschwindigkeit auf das LTO3 Bandlaufwerk zu schreiben.



Die Daten sind per NFS gemaountet und nach einem "Speedtest"

Ich habe jetzt mal eine ~8gb Große Datei mit dem "mc" rüberkopiert

vom Backup Server auf den Filer mit mindestens: 25MB/s

vom Filer auf den Backup Server mit midestens: 23MB/s


Das würde mir erstmal reichen. Nur ist das Problem, das die zu sichernden Daten (unter anderem 23GB Home shares und Insgesamt ca 140GB) zum größten Teil aus vielen kleinen Dateien in vielen Unterordner bestehen.

Ich habe den mbuffer soweit konfiguriert, das er 2 GB meines RAMs vollschreiben darf und erst wenn diese 2GB zu 95% gefüllt sind, er anfängt auf das bandlaufwerk zu schreiben. Parallel füllt er den Puffer zwar weiter auf.

Auf das Bandlaufwerk schreibe ich konstannt mit 16-17MB/s. ABER so schnell wird der Puffer nicht wieder aufgefüllt, sodas der Puffer leer geht, das Bandlaufwerk anhält nud wieder gewartet wird, bis der Puffer zu 95% gefüllt ist.

Dabei streicht unnötige Zeit ins Land.. sehr viel Zeit :/, denn somit braucht das BAckup ~8Std.

Wenn ich nun allerdings ununterbrochen (Sinn eines Puffers Wink )mit 16MB/s auf das Bandlaufwerk schreiben würde, wäre die reine Schreibtätigkeit in guten 2,5 Std durchgelaufen!

Hat jm eine Idee woran es liegen könnte, das die Übertragungsrate so niedrieg ist?
Ist das einfach nunmal so, das die Übertragungsrate so niedrig ist, wenn es sich um viele kleine Dateien handelt?
Wenn ja, gibt es einen möglichkeit dies zu parallelisieren oder andersweitig zu verschnellern?

Andere Ansätze um eine genauere Analyse des Problems durchführen zu können ?


Danke im vorraus und hoffe ich habe mich verständlich ausgedrückt! Smile



Hier die Serverkonfiguration:
--------------------------------------------------------------------
OS: SuSE Linux Enterprise Server 9
Prozessor: 2x Pentium III 1GHz
RAM: 2600MB
SCSI Controller: adaptec AHA-2940UW
HDD: HP Ultra320 universal hard drive
Filesystem: XFS
--------------------------------------------------------------------

bla!zilla
21.08.06, 17:03
Hallo. Also die 17 MB/s sind auch nicht wirklich optimal für das LTO-3. Um was für ein Laufwerk handelt es sich? Certance, HP, IBM? Hast du eine iSCSI Lizenz für den Filer? Wenn ja, versuch mal die Daten über iSCSI zu ziehen. NFS ist kein Performancewunder. Du kannst mal mit wsize beim mounten spielen. Benutzt du NFSv2, NFSv3 oder NFSv4? TCP oder UDP Übertragung? Welche Blockgröße für das LTO?

aerosol
22.08.06, 10:11
Hallo. Also die 17 MB/s sind auch nicht wirklich optimal für das LTO-3.


Jop musste ich auch festellen und somit ist ein leistungsfähigerer SCSI-Controler unumgänglich.


Um was für ein Laufwerk handelt es sich? Certance, HP, IBM?


HP


Hast du eine iSCSI Lizenz für den Filer?
ja :)


Wenn ja, versuch mal die Daten über iSCSI zu ziehen.

Werde ich mir jetzt mal anschauen, aber leider 0 plan davon, was iSCSI wirklich ist :/


NFS ist kein Performancewunder.

musste ich auch ledier feststellen :(


Du kannst mal mit wsize beim mounten spielen.
ok auch diese Option war mit nicht bekannt bisher! thx


Benutzt du NFSv2, NFSv3 oder NFSv4? TCP oder UDP Übertragung? Welche Blockgröße für das LTO?

- NFSv3
- TCP afaik
- 256kb

bla!zilla
22.08.06, 11:24
Also wenn das ein LTO-3 von HP ist, dann bringt das bei einer 2:1 Komprimierung bis zu 160MB/s auf´s Band. Da bist du mit deinem 17MB/s natürlich ganz weit unten. Ich meine, dass das Data Rate Matching auch nur von 27MB/s bis 80MB/s. Du musst bei einer 2:1 Komprimierung also min. 54MB/s liefern um das Laufwerk im streaming zu halten. Wie sieht es denn mit der Last auf dem Filer während des NFS Zugriffs aus? Wenn du iSCSI nutzen willst, musst du auf deinem Backup-Server einen iSCSI Initiator installieren und die Volumes des Filers, von denen gesichert werden soll, über iSCSI exportieren und an den Backup Server hängen. Die erscheinen dort dann als Blockdevice (wie eine SCSI Platte). Daher musst du mit dem Dateisystem aufpassen. Ich bin mir nicht ganz sicher, aber ich meine das der Filer die Volumes, welche per NFS exportiert wurden, nicht auch per iSCSI exportieren kann.

aerosol
22.08.06, 11:51
Also wenn das ein LTO-3 von HP ist, dann bringt das bei einer 2:1 Komprimierung bis zu 160MB/s auf´s Band. Da bist du mit deinem 17MB/s natürlich ganz weit unten. Ich meine, dass das Data Rate Matching auch nur von 27MB/s bis 80MB/s. Du musst bei einer 2:1 Komprimierung also min. 54MB/s liefern um das Laufwerk im streaming zu halten.
Jop nur Leider lassen sich diese Werte ncihtmal ansatzweise über NFS realisieren, vor allem, wenn es sich um viele home directories etc handelt, welche aus vielen kleinen verschachtelten Dateien bestehen.


Wie sieht es denn mit der Last auf dem Filer während des NFS Zugriffs aus?
~12-17%


Wenn du iSCSI nutzen willst, musst du auf deinem Backup-Server einen iSCSI Initiator installieren
Ok schau ich mir mal an, das Paket (linux-iscsi 4.0.1) ist ja beim SLES9 dabei!


und die Volumes des Filers, von denen gesichert werden soll, über iSCSI exportieren und an den Backup Server hängen. Die erscheinen dort dann als Blockdevice (wie eine SCSI Platte). Daher musst du mit dem Dateisystem aufpassen. Ich bin mir nicht ganz sicher, aber ich meine das der Filer die Volumes, welche per NFS exportiert wurden, nicht auch per iSCSI exportieren kann.

muss mir dann mal ein testvolume anlegen und versuchen per CIFS, NFS und für iSCSI gleichzeitig zu exportieren und schauen, ob das Probeleme macht.

bla!zilla
22.08.06, 12:04
Mmmh... müsste meinen NetApp Simulator mal anwerfen. Probier das mal aus und berichte.

aerosol
23.08.06, 14:17
hmm also ich habe nun auf dem Filer mal eine LUN eingerichtet in einem bestehendem Volume.

Beim iSCSI bin ich noch nicht weit gekommen, ausser das Paket von der CD zu installieren und mir das config file auszudrucken, da ich bis gestern noch nichts von iSCSI gehört habe :(

Aber so wie ich das verstehe, besteht die LUN auf dem Filer aus eine rDatie, welche die Größe besitzt, welche ich ihr gegeben habe und diesen Speicherplatz dann bereitstellen kann.

Diese File (hier 15GB groß) soll ich nun mittels iSCSI mounten können und wie ein device behandeln können, in das ich 15GB schreiben kann?

Wenn das so richtig ist, wie sollen dann die anderen User auf dieses device schreiben können? Also die ganzen windows und Linux Users, da cih ja nicht einfach einen NFS export und oder eine CIFS Freigabe auf diese LUN geben kann?!

bla!zilla
23.08.06, 14:25
Wie ich schon geschrieben hatte



Ich bin mir nicht ganz sicher, aber ich meine das der Filer die Volumes, welche per NFS exportiert wurden, nicht auch per iSCSI exportieren kann.

NFS, CIFS, SMB Exporte kommen AFAIK direkt vom Filerdateisystem. LUNs die über FC und iSCSI Exportiert werden, sind Dateien im Filerdateisystem. So habe ich es biher verstanden.

btw: Wie kann etwas iSCSI an jemandem vorbeigehen? Immerhin hast du einen Filer da stehen und NetApp hyped iSCSI ganz gut.

aerosol
23.08.06, 14:34
hmm ok also sehe ich das nun richtig, das iSCSI für mich auch nichts ist, denn wie soll ich was sichern, wo keiner der User, deren Stuff gesichert werden musss, dahin schreiben kann ? ;)

Ist also eher dafür gedacht, große Fileserver miteinander zu verbinden etc.?



btw: Wie kann etwas iSCSI an jemandem vorbeigehen? Immerhin hast du einen Filer da stehen und NetApp hyped iSCSI ganz gut.


reines desinteresse ;) nein quatsch, der Filer hier ist noch realativ neu und ich war auch nicht invollviert darin, das ding zu besorgen etc... :(

aerosol
25.08.06, 09:28
OK, habe das iSCSI zum laufen bekommen, was auch eigentlich gar nich so schwer ist :D

allerdings merke ich hier keine Geschwindigkeitsvorteile im gegensatz zu NFS! :(

Und die Probleme, das der Speed einbricht, sobald ich viele kleine Dateien in vielen Unterordnern von dem iSCSI Laufwerk in den RAM kopieren, ist immer noch da.

Es ändert sich quasi gar nichts für mich :(