Server-Hänger/ CPU Last bei 100%

[derlym]

Hallo,

Seit einiger Zeit macht ein dedizierter Server einige Probleme:
Die CPU Auslastung schwankt aus einem (für mich) nicht ersichtlichen Grund.

http://img233.imageshack.us/img233/9785/sshta2.th.png (http://img233.imageshack.us/my.php?image=sshta2.png)

Soweit ich das interpretieren kann, lastet keine Anwendung die CPU aus, sondern das System.
Allerdings sind auf dem Server außer linux-vserver (inkl. modifizierten Kernel) und SSHd keine Anwendungen installiert.

Wenn die CPU-Auslastung andauernd bei 100% liegen würde, wäre meine "Diagnose", dass sich der vserver-Prozess aufgehängt hat.

Momentan sieht es allerdings so aus (Beispiel):
[20:00] 3%
[20:03] 99,7%
[20:50] 20%


[edit]
Die Logs erzählen mir nichts ungewöhnliches.
Nachdem ich alle vServer heruntergefahren habe, idlet der Server mit einer Last von 0% vor sich hin. --> scheinbar liegt es doch am vServer-Paket.

[MiGo]

Soweit ich das interpretieren kann, lastet keine Anwendung die CPU aus, sondern das System.
Näheres lässt sich vermutlich sagen, wenn du die Anzeige mal nach der CPU-Last sortieren lässt :) (Eventuell reichts auch, mit "i" die ruhenden Prozesse auszublenden)

[zyrusthc]

Näheres lässt sich vermutlich sagen, wenn du die Anzeige mal nach der CPU-Last sortieren lässt :) (Eventuell reichts auch, mit "i" die ruhenden Prozesse auszublenden)
Normalerweise macht das top von Haus aus.

Allerdings würde ich lieber sehen das der TE hier die Ausgabe von top -b -n1 unter Verwendung der CODE-Tags (http://www.linuxforen.de/forums/showthread.php?t=229647) des Forums hier postet!


Greeez Oli

[derlym]

top -b -n1 liefert folgendes Ergebnis:

server:~# top -b -n1
top - 13:31:54 up 3 days, 14:21, 1 user, load average: 32.26, 22.66, 19.35
Tasks: 33 total, 2 running, 31 sleeping, 0 stopped, 0 zombie
Cpu(s): 3.6%us, 25.6%sy, 0.3%ni, 70.0%id, 0.4%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 2060968k total, 2018700k used, 42268k free, 220620k buffers
Swap: 2096440k total, 26172k used, 2070268k free, 306524k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 15 0 6120 684 564 S 0.0 0.0 0:00.51 init
2 root 34 19 0 0 0 R 0.0 0.0 0:00.26 ksoftirqd/0
3 root 10 -5 0 0 0 S 0.0 0.0 0:01.23 events/0
4 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 khelper
5 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
36 root 10 -5 0 0 0 S 0.0 0.0 0:00.02 kblockd/0
37 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 ata/0
38 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 ata_aux
39 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kseriod
90 root 15 0 0 0 0 S 0.0 0.0 0:00.38 pdflush
91 root 15 0 0 0 0 S 0.0 0.0 0:01.89 pdflush
92 root 10 -5 0 0 0 S 0.0 0.0 0:26.80 kswapd0
93 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 aio/0
712 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 scsi_eh_0
713 root 10 -5 0 0 0 S 0.0 0.0 0:00.01 scsi_eh_1
735 root 10 -5 0 0 0 S 0.0 0.0 0:17.87 kjournald
859 root 21 -4 10592 788 412 S 0.0 0.0 0:00.10 udevd
2092 root 15 0 3732 664 508 S 0.0 0.0 0:00.09 syslogd
2098 root 15 0 2660 396 308 S 0.0 0.0 0:00.00 klogd
2116 root 18 0 25840 1248 792 S 0.0 0.1 0:00.00 sshd
4334 root 15 0 11496 932 716 S 0.0 0.0 0:00.04 cron
4358 root 16 0 2652 532 448 S 0.0 0.0 0:00.00 getty
4359 root 18 0 2652 536 448 S 0.0 0.0 0:00.00 getty
4360 root 18 0 2652 532 448 S 0.0 0.0 0:00.00 getty
4361 root 18 0 2652 536 448 S 0.0 0.0 0:00.00 getty
4362 root 18 0 2656 536 448 S 0.0 0.0 0:00.00 getty
4365 root 18 0 2652 536 448 S 0.0 0.0 0:00.00 getty
15083 root 16 0 36792 2648 2088 S 0.0 0.1 0:00.00 sshd
15118 benutzer 15 0 36928 1756 1172 S 0.0 0.1 0:00.00 sshd
15270 benutzer 15 0 15116 3684 1468 S 0.0 0.2 0:00.08 bash
15507 root 15 0 19832 1140 892 S 0.0 0.1 0:00.00 su
15511 root 15 0 13232 1992 1408 S 0.0 0.1 0:00.00 bash
15786 root 15 0 10596 1132 864 R 0.0 0.1 0:00.00 top

[zyrusthc]

Sind das wirklich alle Prozesse?
Durch was kommen den die "25.6%sy" zustande?!

Greeez Oli

[marce]

Erzähl mal ein bisschen mehr über das System - HW, Konfig, ...

[derlym]

Durch was kommen den die "25.6%sy" zustande?!
Da liegt mein Problem. Ich weiß eben nicht, woher diese 25,6% (Durchschnitt?) herkommen.


Erzähl mal ein bisschen mehr über das System - HW, Konfig, ...
Hardware --> Hetzner Root DS 5000 (der "Alte"):
AMD Athlon 64 3700+
2048MB RAM
2x 300GB HDD
100mb/s Realtek-Netzwerkchip

Konfiguration --> Debian Etch (minimal) mit SSH und dem vServer-Kernel.
Alle weiteren Prozesse laufen in den VM's.
Eingerichtet wurde der Server nach dem HowTo von Schirmacher.de (http://schirmacher.de/display/INFO/Installation+der+Linux-VServer+Software). Ich habe gleich die Kernel-Konfigurations-Datei von der Seite genommen.

[marce]

HDs als Raid1? SW oder HW-Raid?

Da wäre ein potentieller Engpass zu vermuten...

[derlym]

kein RAID.
Nur eine Festplatte ist gemountet, die andere wird momentan nicht genutzt.

[zyrusthc]

Schon mal nen RootKitHunter über die Kiste laufen lassen?

Greeez Oli

[marce]

Mehrere (wieviele denn?) VMs auf einem Nicht-Raid? Und Du wunderst Dich, dass die Sys-Load hoch geht?

[stephankoenig]

Hast du auch die richtige CPU in deinem modifizierten Kernel angewählt?

Grüsse, Steven

[derlym]

Schon mal nen RootKitHunter über die Kiste laufen lassen?
Nein, ich denke nicht, dass sich ein RootKit auf den Server verirrt hat: Es gibt (imho) kaum Angriffspunkte.


Mehrere (wieviele denn?) VMs auf einem Nicht-Raid? Und Du wunderst Dich, dass die Sys-Load hoch geht?
Es laufen 5 VM's, von denen 2 "richtig" genutzt werden.
Bis vor einigen Tagen lief das alles wunderbar mit durchschnittlich 5-10% CPU-Auslastung. Wieso sollte es auf einmal in Richtung 100% gehen?


[edit]
Die hohe Belastung geht von einer VM aus.
Der Apache dieser VM hat Unmengen von Instanzen offen, die zusammen 100% Rechenleistung beanspruchen. Schalte ich den Apache ab, geht die Auslastung der CPU in Richtung der 3%-Marke.

Ich werde mich nachher mal durch die Logs wühlen und sehen, was da faul ist. Mich wunder allerdings eine "Kleinigkeit":
Wieso hat der Apache gleich nach dem Starten schon 20 Instanzen?