Load Average Problem

[Kinglui]

Hallo zusammen,

ich habe nun seit ein paar Tagen das Problem das unser Fileserver
einen extrem hohen Load hat (teilweise uebr 10).
"Top" ergibt leider nicht viel, die meisten CPU's gammeln vor sich hin und ausgelagert wird auch nichts.
Der Zugriff ueber Samba ist bei dem Load unentlich langsam.
Nun stellt sich mir die Frage woher der hohe Load kommt?
In den Logfiles ist auch nichts auffaelliges zu finden.

OS: SLES 10 64 Bit
HW: 8 GB RAM / 2 x QuadCore

Per FibreChannel haengt noch ein RAID dran.


gruesse

Steffen

[bla!zilla]

Lass mal, während die Kiste so unter Last steht, vmstat laufen und poste die Ausgabe hier. Ruhig so eine Minute laufen lassen, im Abstand von einer Sekunde. Achte mal auf hohe IOwait Werte.

[Kinglui]

Hallo,

Hier der Output von vmstat 1 60 bei einem 5 min Average Load von 5:

-----io----
wa st
21 0
19 0
21 0
19 0
20 0
19 0
18 0
28 0
20 0
19 0
22 0
19 0
20 0
24 0
26 0
25 0
19 0
21 0
20 0
19 0
18 0

[Kinglui]

kleiner Nachtrag. Ich habe mir mal direkt am Raid die Outstanding I/O's
der LUN anzeigen lassen. Da habe ich im Gegensatz du I/O Waits
am Server maximal einen Wert von 6 und auch bei den einzlenen Disks
geht da selten mal ein Wert ueber 1.
Demnach bleibt ja fast nur noch die Verbindung vom Server zum Raid,
also die FibreChannel Karte bzw. das FibreChannel Kabel.

[marce]

editiere bitte das Posting oben und verwende die Code-Tags des Forums - dann kann man die Ausgabe auch lesen und muss nicht Spalten zählen um an den interessanten Wert zu kommen...

[Kinglui]

ich habe mein Posting auf die relevanten Eintraege geandert, damit
wirds auch jeden Fall uebersichtlicher.
Leider hat auch der Austausch der FibreChannel Karte nichts gebracht.
Unser Problem tritt auf wenn viele kleine Files geschrieben werden.
Bei einem grossen Fileist alles ok.
Evt. das Dateisystem?

gruesse

Steffen

[marce]

Was für ein Raid hängt denn dran?

[Kinglui]

Es haengt ein Easyraid Q16Ps dran :http://www.starline.de/produkte/easyraid/easyraid_q16ps/easyraid_q16ps.htm

Ich werde jetzt mal ein Firmwareupdate machen, vermutlich ist mit dem Raid
selber was faul. Selbst wenn ich ueber die Konsole ein stinknormales "du" mache, geht der Load auf fast 3 hoch.

[marce]

interessanter wäre der Raid-level und die Anzahl der verbauten Platten...

[Kinglui]

Raidlevel 6
Verbaut sind 16 x 1 TB Platten (SATA)
Dateisystem: XFS

[netwalker]

Interessant wäre auch was für ein Befehl du verwendet hast um Raid Outstanding I/O's ausgeben.

[bla!zilla]

Also RAID 6, selbst mit 16 Platten, ist nicht wirklich schnell. Zudem sind SATA Platten auch nicht wirklich fix. RAID 6 leidet noch viel mehr, als RAID 3, 4 und 5, unter der sog. Write Penalty Gerade wenn es um das Schreiben von vielen kleinen Dateien geht, kann man da schnell Schiffbruch erleiden. Ich habe in meinem Blog mehrere Grundlagenartikel verfasst, die sich mit so Dingen wie RAID Level, Stripe Size, IOPS usw. beschäftigen. Vielleicht wäre das mal ein Blick wert.