PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Wenig freie Festplatte -> langsames Backup ???



snowball
02.11.04, 14:41
Hallo zusammen,
nach erfolgloser Suche sowohl im Forum, als auch bei Google, hoffe ich das einer von Euch eine Lösung für mein Problem hat.

Wir setzten hier einen SLES 8 Server mit zusätzlicher 820GB Platte als Backup für unsere Server ein. Jetzt zum Eigentlichen Problem. Seit dem sich die freie Festplattenkapazität dem Ende nähert. (noch 83GB bzw 10% frei). Dauern unsere Backups elendig lange. Mein Chef hat mir aus der Unix Welt den Tipp gegeben, das es da sowas wie Zeit und Platzoptimiertes schreiben gibt. (er meine das heißt mtune). Bei Unix ist es wohl so, dass er, wenn der Platz zu Ende geht, anfängt alles zu optimiere, was aber zu langen Wartezeiten führt.

Jetzt Meine Frage: gibt es sowas auch für Suse Linux? Und wenn ja, wie heißt es? Könnte es sein, das man damit auch einstellen kann, das er das nicht bei z.B. 10% macht, sondern erst bei 1%?

Vielen Dank schonmal

greets Jochen

tictactux
02.11.04, 16:21
Hi Jochen,

genauere Angaben zur Infrastruktur sollten schon sein:
- was für Dateisysteme sind das (ext3/reiser/xfs...) mit/ohne
Journal (intern/extern) ?
- bei der Plattengröße: einzelne Platte (IDE/SCSI) oder RAID
(Software/Hardware )?
- hast Du konkrete Werte (MB/s oder GB/Stunde) für 'elendig lange' ?
- Womit wird das Backup gemacht (rsync,cpio,Amanda,...) ?
- läuft das Backup übers Netz (was für) ?
- Wie sieht die Auslastung des Dateisystems aus (mittlere Dateigröße,
Anzahl von Dateien)

Tuningoptionen für das reine Dateisystem sind wohl in den man-pages
zu mke2fs/tune2fs/mkreiserfs,reiserfstune u.s.w. aber die werden ja
wohl schon bekannt sein ...

Gruss,
Wolfgang

Nachtrag:
detaillertere Informationen zu den einzelnen Dateisystemen
und Tuningmöglichkeiten findest Du im Kernelsource-Verzeichnis unter
Documentation/filesystems/*

snowball
02.11.04, 18:37
Hi Wolfgang,

Erstmal sorry.. ich dachte, das die Infos reichen würden. Aber bei genauerer Betrachtung meiner Frage hast du natürlich recht. Hier also das, was ich noch dazu weiß.


> - was für Dateisysteme sind das (ext3/reiser/xfs...) mit/ohne Journal
> intern/extern) ?

Dateisystem ist sowohl auf dem Server selber, als als auch auf der Platte die so langsam ist: ext3

> - bei der Plattengröße: einzelne Platte (IDE/SCSI) oder RAID
> (Software/Hardware )?

Das Raid-System ist eine S80 von Fujitsu Siemens. Es ist über eine FiberCat Karte (LWL) an mit dem eigentlichen Server verbunden. Nach der Linux Installation wird das Raid als ganz normale Platte erkannt und kann gemountet werden. Wenn mich nicht alles täuscht, sind das 10*74GB SCSI.

> - hast Du konkrete Werte (MB/s oder GB/Stunde) für 'elendig lange' ?

Nein, leider nur ungefähre. Ein Backup auf das System hat früher ca. 6.5h gebraucht und jetzt wo es dem Ende der Kapazität entgegen geht, braucht es fast 10h.

> - Womit wird das Backup gemacht (rsync,cpio,Amanda,...) ?

Die Linux server in unserem Netz (10 Stück) machen rsync per NFS und die Windows Kisten (ca. 35) machen ntbackup über Samba.

> - läuft das Backup übers Netz (was für) ?

Ja, im Moment noch 100MBit.

> - Wie sieht die Auslastung des Dateisystems aus (mittlere Dateigröße,Anzahl > von Dateien)

Jetzt hast du mich kalt erwischt. wie bekomme ich diese Infos raus?

> Tuningoptionen für das reine Dateisystem sind wohl in den man-pages
> zu mke2fs/tune2fs/mkreiserfs,reiserfstune u.s.w. aber die werden ja
> wohl schon bekannt sein ...

Ja, habe ich auch schon rein geschaut, aber leider nichts gefunden, wo ich sagen könnte: Jau, daran liegt es.

Danke für die Hilfe

greets Jochen

tictactux
02.11.04, 20:42
Hi Jochen,


Nein, leider nur ungefähre. Ein Backup auf das System hat früher ca. 6.5h gebraucht und jetzt wo es dem Ende der Kapazität entgegen geht, braucht es fast 10h.
[..]
Die Linux server in unserem Netz (10 Stück) machen rsync per NFS und die Windows Kisten (ca. 35) machen ntbackup über Samba.
Wäre das nicht durch Zunahme des Datenvolumens erklärbar, das sind ja
'nur' 35% mehr ?
Bei einem 100-MBit Netz über Samba/NFS wäre eine optimistische Erwartung
6-7MB/s pro Leitung. Wie ist der Backupserver an die Clients angebunden
(bzw. wieviele Netzwerkkarten hat er) und wie sieht der Zeitplan der
Sicherung aus (wieviele Clients beanspruchen das Netz gleichzeitig) ?

Ich würde an dieser Stelle (Netz) erst mal Performance-Daten sammeln
(wenn der Server nur 1-2 Netzwerkkarte hat, und viele Clients gleichzeitig
sichern, brauchen wir nicht mehr lange suchen.
Rechne aus, wie lange 700000MB bei 6-7 MB/s brauchen...


> - Wie sieht die Auslastung des Dateisystems aus (mittlere Dateigröße,Anzahl > von Dateien)
Jetzt hast du mich kalt erwischt. wie bekomme ich diese Infos raus?

;) df -m liefert den genutzten Platz in MB,
'nice find / -type f |wc -l' die Anzahl der Dateien,
der Rest ist höhere Mathematik ;)

Ungenauer ginge das auch aus 'tune2fs -l /dev/THE_RAID'
über die Differenz aus 'Inode count' und 'Free inodes'.

Hintergrund der Frage war, ob mit vom Default abweichender Blockgröße/
Fragmentgröße/Inode-Dichten bessere Dateisystemauslastung/geringere
Fragmentierung erreicht werden kann, doch bei so gemischten Backup-
Clients wird das nichts bringen (anders wäre es, wenn viele große Dateien
die Masse ausmachten).

HTH
wolfgang

snowball
03.11.04, 09:06
Hallo Wolfgang,
du hast schon Recht mit deiner Annahme, dass dieses Datenvolumen sehr lange zur Übertragung brauchen würde. Der Server ist im Moment auch nur mit 100MBit angebunden. Trotzdem wundert mich diese Zunahme der Laufzeit. Das "besondere" finde ich den sprunghaften Anstieg der Zeit für das Backup. Da nicht jede Nacht 700GB gesichert werden sonderen nur ca. 300GB. Wenn die Zeit von 6.5h auf 7h oder so angestiegen wäre, würde ich mir das schon mit etwas größeren Datenmengen erklären könnne. Aber direkt auf 10 Ist eindeutig zu viel. Zumal der entsprechende Server ein Datenbank Server ist, der 1. mit rsync nur die Unterschiede sichert und 2. Das Volumen der Datenbanken nicht so stark angestiegen ist.

##### vorschnelles Ende #####

Tja, an dieser Stelle meines Postings, kann ich mich nur nochmal für deine Hilfe bedanken. Das Problem hat sich von selber gelöst. Eigentlich wollte ich grade nochmal nach der Auslastung der Festplatte und der Anzahl der Dateien schauen. Leider hat mein Chef gestern Abend auf der Platte alles mögliche gelöscht, was er meinte, was nicht mehr gebraucht wird. Und was soll ich sagen. Jetzt sind wieder 282GB oder 63% frei. Und damit hat das Backup auch zu seiner alten Geschwindigkeit zurück gefunden. Finde ich zwar sehr merkwürdig, aber jetzt fehlt mir für weitere Suche erstmal die Grundlage. Aber ich denke mir, das das nur eine Frage von Tagen ist, bis die Platten wieder voll sind. Dann melde ich mich bestimmt nochmal :-)

Also danke nochmal

greets Jochen

tictactux
03.11.04, 15:10
Hallo Jochen,


Hallo Wolfgang,
du hast schon Recht mit deiner Annahme, dass dieses Datenvolumen sehr lange zur Übertragung brauchen würde. Der Server ist im Moment auch nur mit 100MBit angebunden. Trotzdem wundert mich diese Zunahme der Laufzeit. Das "besondere" finde ich den sprunghaften Anstieg der Zeit für das Backup. Da nicht jede Nacht 700GB gesichert werden sonderen nur ca. 300GB.

Hätte diese Information im einem früheren Posting gestanden,
wären meine hellseherischen Fähigkeiten weniger gefordert gewesen ;)

Aber schön, daß die Sache erstmal geklärt ist.

Gruß,
Wolfgang