aerosol
21.08.06, 15:36
Hallo ersmal ...
also Ich habe einen Backup-Server und einen NetApp Filer FAS270 als Datengrab. Beide sind mit einer 1 gigabit Verbindung angeschlossen. Der Backup Server soll nun (wäre hätte es gedacht;) ) die Daten des Filers sichern.
Ich realisiere das nun mit der Software "synbak" + ein paar Modifikationen. Die Modifikation besteht hauptsächlich aus einer Anpassung der Blocksize und dem Einbau des "mbuffer" um Die Daten im RAM zwischenzuspeichern, um mit der vollen Geschwindigkeit auf das LTO3 Bandlaufwerk zu schreiben.
Die Daten sind per NFS gemaountet und nach einem "Speedtest"
Ich habe jetzt mal eine ~8gb Große Datei mit dem "mc" rüberkopiert
vom Backup Server auf den Filer mit mindestens: 25MB/s
vom Filer auf den Backup Server mit midestens: 23MB/s
Das würde mir erstmal reichen. Nur ist das Problem, das die zu sichernden Daten (unter anderem 23GB Home shares und Insgesamt ca 140GB) zum größten Teil aus vielen kleinen Dateien in vielen Unterordner bestehen.
Ich habe den mbuffer soweit konfiguriert, das er 2 GB meines RAMs vollschreiben darf und erst wenn diese 2GB zu 95% gefüllt sind, er anfängt auf das bandlaufwerk zu schreiben. Parallel füllt er den Puffer zwar weiter auf.
Auf das Bandlaufwerk schreibe ich konstannt mit 16-17MB/s. ABER so schnell wird der Puffer nicht wieder aufgefüllt, sodas der Puffer leer geht, das Bandlaufwerk anhält nud wieder gewartet wird, bis der Puffer zu 95% gefüllt ist.
Dabei streicht unnötige Zeit ins Land.. sehr viel Zeit :/, denn somit braucht das BAckup ~8Std.
Wenn ich nun allerdings ununterbrochen (Sinn eines Puffers Wink )mit 16MB/s auf das Bandlaufwerk schreiben würde, wäre die reine Schreibtätigkeit in guten 2,5 Std durchgelaufen!
Hat jm eine Idee woran es liegen könnte, das die Übertragungsrate so niedrieg ist?
Ist das einfach nunmal so, das die Übertragungsrate so niedrig ist, wenn es sich um viele kleine Dateien handelt?
Wenn ja, gibt es einen möglichkeit dies zu parallelisieren oder andersweitig zu verschnellern?
Andere Ansätze um eine genauere Analyse des Problems durchführen zu können ?
Danke im vorraus und hoffe ich habe mich verständlich ausgedrückt! Smile
Hier die Serverkonfiguration:
--------------------------------------------------------------------
OS: SuSE Linux Enterprise Server 9
Prozessor: 2x Pentium III 1GHz
RAM: 2600MB
SCSI Controller: adaptec AHA-2940UW
HDD: HP Ultra320 universal hard drive
Filesystem: XFS
--------------------------------------------------------------------
also Ich habe einen Backup-Server und einen NetApp Filer FAS270 als Datengrab. Beide sind mit einer 1 gigabit Verbindung angeschlossen. Der Backup Server soll nun (wäre hätte es gedacht;) ) die Daten des Filers sichern.
Ich realisiere das nun mit der Software "synbak" + ein paar Modifikationen. Die Modifikation besteht hauptsächlich aus einer Anpassung der Blocksize und dem Einbau des "mbuffer" um Die Daten im RAM zwischenzuspeichern, um mit der vollen Geschwindigkeit auf das LTO3 Bandlaufwerk zu schreiben.
Die Daten sind per NFS gemaountet und nach einem "Speedtest"
Ich habe jetzt mal eine ~8gb Große Datei mit dem "mc" rüberkopiert
vom Backup Server auf den Filer mit mindestens: 25MB/s
vom Filer auf den Backup Server mit midestens: 23MB/s
Das würde mir erstmal reichen. Nur ist das Problem, das die zu sichernden Daten (unter anderem 23GB Home shares und Insgesamt ca 140GB) zum größten Teil aus vielen kleinen Dateien in vielen Unterordner bestehen.
Ich habe den mbuffer soweit konfiguriert, das er 2 GB meines RAMs vollschreiben darf und erst wenn diese 2GB zu 95% gefüllt sind, er anfängt auf das bandlaufwerk zu schreiben. Parallel füllt er den Puffer zwar weiter auf.
Auf das Bandlaufwerk schreibe ich konstannt mit 16-17MB/s. ABER so schnell wird der Puffer nicht wieder aufgefüllt, sodas der Puffer leer geht, das Bandlaufwerk anhält nud wieder gewartet wird, bis der Puffer zu 95% gefüllt ist.
Dabei streicht unnötige Zeit ins Land.. sehr viel Zeit :/, denn somit braucht das BAckup ~8Std.
Wenn ich nun allerdings ununterbrochen (Sinn eines Puffers Wink )mit 16MB/s auf das Bandlaufwerk schreiben würde, wäre die reine Schreibtätigkeit in guten 2,5 Std durchgelaufen!
Hat jm eine Idee woran es liegen könnte, das die Übertragungsrate so niedrieg ist?
Ist das einfach nunmal so, das die Übertragungsrate so niedrig ist, wenn es sich um viele kleine Dateien handelt?
Wenn ja, gibt es einen möglichkeit dies zu parallelisieren oder andersweitig zu verschnellern?
Andere Ansätze um eine genauere Analyse des Problems durchführen zu können ?
Danke im vorraus und hoffe ich habe mich verständlich ausgedrückt! Smile
Hier die Serverkonfiguration:
--------------------------------------------------------------------
OS: SuSE Linux Enterprise Server 9
Prozessor: 2x Pentium III 1GHz
RAM: 2600MB
SCSI Controller: adaptec AHA-2940UW
HDD: HP Ultra320 universal hard drive
Filesystem: XFS
--------------------------------------------------------------------