immer Serverabsturz

[Elegua]

Hiho!

Mein Server stürzt immer ab.

Und das immer mit dem selben Symptom(en):

TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3108618265:3108621161. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3108618265:3108621161. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3111808209:3111811105. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3113085345:3113089689. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3113085345:3113089689. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3113806449:3113810793. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3113806449:3113810793. Repaired.
TCP: Treason uncloaked! Peer 168.209.98.67:2955/80 shrinks window 3113806449:3113810793. Repaired.
TCP: Treason uncloaked! Peer 64.59.144.24:58975/80 shrinks window 2670924960:2670933504. Repaired.
TCP: Treason uncloaked! Peer 64.59.144.24:12559/80 shrinks window 3627124807:3627133351. Repaired.
TCP: Treason uncloaked! Peer 64.59.144.24:12559/80 shrinks window 3627124807:3627133351. Repaired.
Unable to handle kernel paging request at virtual address 634db99c
 printing eip:
c0173505
*pde = 00000000
Oops: 0000 [#1]
SMP
Modules linked in: iptable_nat iptable_mangle ipt_REJECT ipt_state ip_conntrack iptable_filter ip_tables ipv6 parport_pc parport floppy evdev pcspkr snd_intel8x0 snd_ac97_codec snd_pcm snd_timer snd snd_page_alloc pci_hotplug intel_agp intel_mch_agp agpgart ehci_hcd uhci_hcdusbcore i810_audio ac97_codec soundcore ata_piix libata scsi_mod e1000 capability commoncapeeprom lm85 i2c_sensor i2c_isa i2c_i801 i2c_core ide_cd cdrom genrtc ext3 jbd mbcache ide_disk ide_generic via82cxxx trm290 triflex slc90e66 sis5513 siimage serverworks sc1200 rz1000 piix pdc202xx_old opti621 ns87415 hpt366 hpt34x generic cy82c693 cs5530 cs5520 cmd64x atiixpamd74xx alim15x3 aec62xx pdc202xx_new ide_core unix fbcon font bitblit vesafb cfbcopyarea cfbimgblt cfbfillrect
CPU:    0
EIP:    0060:[<c0173505>]    Not tainted VLI
EFLAGS: 00010206   (2.6.11-1-686-smp)
EIP is at dput+0x25/0x1d0
eax: d1db2b04   ebx: 634db99c   ecx: c1fec9c0   edx: d1db2b90
esi: d1db2ab4   edi: c0361f20   ebp: 00000041   esp: dfe6bec0
ds: 007b   es: 007b   ss: 0068
Process kswapd0 (pid: 91, threadinfo=dfe6a000 task=dfb7aa60)
Stack: d1db2ab4 c0176803 634db99c d1db2ab4 d1db2abc c0173a91 634db99c 00000000
       00000084 00000000 00000000 dfffea60 c0173eef 00000080 c0145fb5 00000080
       000000d0 00070f31 005d7500 00000000 0000000d 00000000 c02f2b80 00000002
Call Trace:
 [<c0176803>] iput+0x63/0x90
 [<c0173a91>] prune_dcache+0x131/0x1a0
 [<c0173eef>] shrink_dcache_memory+0x1f/0x50
 [<c0145fb5>] shrink_slab+0x155/0x190
 [<c014744b>] balance_pgdat+0x2db/0x3b0
 [<c0147609>] kswapd+0xe9/0x120
 [<c0131eb0>] autoremove_wake_function+0x0/0x60
 [<c0131eb0>] autoremove_wake_function+0x0/0x60
 [<c0147520>] kswapd+0x0/0x120
 [<c0101375>] kernel_thread_helper+0x5/0x10
Code: b4 26 00 00 00 00 57 56 53 83 ec 08 8b 5c 24 18 85 db 0f 84 01 01 00 00 8d b4 26 00 00 00 00 8d bc 27 00 00 00 00 bf 20 1f 36 c0 <8b> 03 89 7c 24 04 89 1c 24 e8 2d 2a 05 00 85 c0 0f 84 d8 00 00
 <1>Unable to handle kernel paging request at virtual address 5bc6fb40
 printing eip:
c0173505
*pde = 00000000
Oops: 0000 [#2]
SMP
Modules linked in: iptable_nat iptable_mangle ipt_REJECT ipt_state ip_conntrack iptable_filter ip_tables ipv6 parport_pc parport floppy evdev pcspkr snd_intel8x0 snd_ac97_codec snd_pcm snd_timer snd snd_page_alloc pci_hotplug intel_agp intel_mch_agp agpgart ehci_hcd uhci_hcdusbcore i810_audio ac97_codec soundcore ata_piix libata scsi_mod e1000 capability commoncapeeprom lm85 i2c_sensor i2c_isa i2c_i801 i2c_core ide_cd cdrom genrtc ext3 jbd mbcache ide_disk ide_generic via82cxxx trm290 triflex slc90e66 sis5513 siimage serverworks sc1200 rz1000 piix pdc202xx_old opti621 ns87415 hpt366 hpt34x generic cy82c693 cs5530 cs5520 cmd64x atiixpamd74xx alim15x3 aec62xx pdc202xx_new ide_core unix fbcon font bitblit vesafb cfbcopyarea cfbimgblt cfbfillrect
CPU:    0
EIP:    0060:[<c0173505>]    Not tainted VLI
EFLAGS: 00010202   (2.6.11-1-686-smp)
EIP is at dput+0x25/0x1d0
eax: d1db2b04   ebx: 5bc6fb40   ecx: c1fec9c0   edx: d1db2b90
esi: d1db2ab4   edi: c0361f20   ebp: 0000000a   esp: f7c45d60
ds: 007b   es: 007b   ss: 0068
Process mysqld (pid: 7929, threadinfo=f7c44000 task=ecc53540)
Stack: d1db2ab4 c01767e0 5bc6fb40 d1db2ab4 d1db2abc c0173a91 5bc6fb40 00000000
       00000082 00000000 00000000 dfffea60 c0173eef 00000080 c0145fb5 00000080
       000080d2 0007519d 00274200 00000000 00000005 00000000 0000000c f7c45e40
Call Trace:
 [<c01767e0>] iput+0x40/0x90
 [<c0173a91>] prune_dcache+0x131/0x1a0
 [<c0173eef>] shrink_dcache_memory+0x1f/0x50
 [<c0145fb5>] shrink_slab+0x155/0x190
 [<c01470ac>] try_to_free_pages+0xdc/0x1a0
 [<c013fd08>] __alloc_pages+0x1a8/0x420
 [<c014b415>] do_anonymous_page+0x95/0x190
 [<c014b570>] do_no_page+0x60/0x340
 [<c0149205>] pte_alloc_map+0x95/0xd0
 [<c014ba56>] handle_mm_fault+0xf6/0x170
 [<c0114e9c>] do_page_fault+0x19c/0x5d5
 [<f8af2a45>] init_stall_timer+0x55/0x60 [uhci_hcd]
 [<f8af295b>] stall_callback+0xeb/0x180 [uhci_hcd]
 [<c0131eb0>] autoremove_wake_function+0x0/0x60
 [<c018b7ba>] dnotify_parent+0x3a/0xb0
 [<c015aedf>] vfs_read+0xff/0x160
 [<c015b2f6>] sys_pread64+0x66/0x90
 [<c0114d00>] do_page_fault+0x0/0x5d5
 [<c0103c3f>] error_code+0x2b/0x30
Code: b4 26 00 00 00 00 57 56 53 83 ec 08 8b 5c 24 18 85 db 0f 84 01 01 00 00 8d b4 26 00 00 00 00 8d bc 27 00 00 00 00 bf 20 1f 36 c0 <8b> 03 89 7c 24 04 89 1c 24 e8 2d 2a 05 00 85 c0 0f 84 d8 00 00
 <7>TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025. Repaired.
TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025.Repaired.
TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025.Repaired.
TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025.Repaired.
TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025.Repaired.
TCP: Treason uncloaked! Peer 162.119.232.106:29041/80 shrinks window 1578378805:1578389025.Repaired.

Ich tippe ja auf RAM-defekt.
Da die Box aber etwa seit 1 Woche einwenig swappen tut und der Ram voll ist,
glaube ich daran aber auch nicht ganz.

Weiß sonst noch jemand Rat?

Gruß,
Paddy

[cane]

Tippe auch auf RAM wegen:

Unable to handle kernel paging request at virtual address 634db99c

Teste mal mit anderen Riegeln / Baue bei mehreren vorhandenen alle einzeln aus und teste.

mfg
cane

[Elegua]

Tippe auch auf RAM wegen:


Teste mal mit anderen Riegeln / Baue bei mehreren vorhandenen alle einzeln aus und teste.

mfg
cane

-> Ist ein Server im Betrieb, das geht nur bedingt.

Aber er hat ja den Ram die ganze Zeit immer "voll".
Und warum stürzt er immer mit kswapd0+mysqld ab?

Wenn der Ram defekt ist, kann ja auch jede andere Applikation mal abschmieren . . .

[cane]

-> Ist ein Server im Betrieb, das geht nur bedingt.

--> Nachtschicht


Ansonsten kann ich dir leider nicht weiterhelfen, recherchiere aber nochmal...

mfg
cane

[cane]

Ich hab mal ein weng weiterrecherchiert:

Das ganze Problem kommt ja durch den Kernel-Oops zustande, Du hast zwei davon:

Oops: 0000 [#1]
SMP
Modules linked in: iptable_nat iptable_mangle ipt_REJECT ipt_state ip_conntrack iptable_filter ip_tables ipv6 parport_pc parport floppy evdev pcspkr snd_intel8x0 snd_ac97_codec snd_pcm snd_timer snd snd_page_alloc pci_hotplug intel_agp intel_mch_agp agpgart ehci_hcd uhci_hcdusbcore i810_audio ac97_codec soundcore ata_piix libata scsi_mod e1000 capability commoncapeeprom lm85 i2c_sensor i2c_isa i2c_i801 i2c_core ide_cd cdrom genrtc ext3 jbd mbcache ide_disk ide_generic via82cxxx trm290 triflex slc90e66 sis5513 siimage serverworks sc1200 rz1000 piix pdc202xx_old opti621 ns87415 hpt366 hpt34x generic cy82c693 cs5530 cs5520 cmd64x atiixpamd74xx alim15x3 aec62xx pdc202xx_new ide_core unix fbcon font bitblit vesafb cfbcopyarea cfbimgblt cfbfillrect
CPU: 0
EIP: 0060:[<c0173505>] Not tainted VLI
EFLAGS: 00010206 (2.6.11-1-686-smp)
EIP is at dput+0x25/0x1d0
eax: d1db2b04 ebx: 634db99c ecx: c1fec9c0 edx: d1db2b90
esi: d1db2ab4 edi: c0361f20 ebp: 00000041 esp: dfe6bec0
ds: 007b es: 007b ss: 0068
Process kswapd0 (pid: 91, threadinfo=dfe6a000 task=dfb7aa60)
Stack: d1db2ab4 c0176803 634db99c d1db2ab4 d1db2abc c0173a91 634db99c 00000000
00000084 00000000 00000000 dfffea60 c0173eef 00000080 c0145fb5 00000080
000000d0 00070f31 005d7500 00000000 0000000d 00000000 c02f2b80 00000002
Call Trace:
[<c0176803>] iput+0x63/0x90
[<c0173a91>] prune_dcache+0x131/0x1a0
[<c0173eef>] shrink_dcache_memory+0x1f/0x50
[<c0145fb5>] shrink_slab+0x155/0x190
[<c014744b>] balance_pgdat+0x2db/0x3b0
[<c0147609>] kswapd+0xe9/0x120
[<c0131eb0>] autoremove_wake_function+0x0/0x60
[<c0131eb0>] autoremove_wake_function+0x0/0x60
[<c0147520>] kswapd+0x0/0x120
[<c0101375>] kernel_thread_helper+0x5/0x10
Code: b4 26 00 00 00 00 57 56 53 83 ec 08 8b 5c 24 18 85 db 0f 84 01 01 00 00 8d b4 26 00 00 00 00 8d bc 27 00 00 00 00 bf 20 1f 36 c0 <8b> 03 89 7c 24 04 89 1c 24 e8 2d 2a 05 00 85 c0 0f 84 d8 00 00
<1>Unable to handle kernel paging request at virtual address 5bc6fb40
printing eip:
c0173505
*pde = 00000000

Oops: 0000 [#2]
SMP
Modules linked in: iptable_nat iptable_mangle ipt_REJECT ipt_state ip_conntrack iptable_filter ip_tables ipv6 parport_pc parport floppy evdev pcspkr snd_intel8x0 snd_ac97_codec snd_pcm snd_timer snd snd_page_alloc pci_hotplug intel_agp intel_mch_agp agpgart ehci_hcd uhci_hcdusbcore i810_audio ac97_codec soundcore ata_piix libata scsi_mod e1000 capability commoncapeeprom lm85 i2c_sensor i2c_isa i2c_i801 i2c_core ide_cd cdrom genrtc ext3 jbd mbcache ide_disk ide_generic via82cxxx trm290 triflex slc90e66 sis5513 siimage serverworks sc1200 rz1000 piix pdc202xx_old opti621 ns87415 hpt366 hpt34x generic cy82c693 cs5530 cs5520 cmd64x atiixpamd74xx alim15x3 aec62xx pdc202xx_new ide_core unix fbcon font bitblit vesafb cfbcopyarea cfbimgblt cfbfillrect
CPU: 0
EIP: 0060:[<c0173505>] Not tainted VLI
EFLAGS: 00010202 (2.6.11-1-686-smp)
EIP is at dput+0x25/0x1d0
eax: d1db2b04 ebx: 5bc6fb40 ecx: c1fec9c0 edx: d1db2b90
esi: d1db2ab4 edi: c0361f20 ebp: 0000000a esp: f7c45d60
ds: 007b es: 007b ss: 0068
Process mysqld (pid: 7929, threadinfo=f7c44000 task=ecc53540)
Stack: d1db2ab4 c01767e0 5bc6fb40 d1db2ab4 d1db2abc c0173a91 5bc6fb40 00000000
00000082 00000000 00000000 dfffea60 c0173eef 00000080 c0145fb5 00000080
000080d2 0007519d 00274200 00000000 00000005 00000000 0000000c f7c45e40
Call Trace:
[<c01767e0>] iput+0x40/0x90
[<c0173a91>] prune_dcache+0x131/0x1a0
[<c0173eef>] shrink_dcache_memory+0x1f/0x50
[<c0145fb5>] shrink_slab+0x155/0x190
[<c01470ac>] try_to_free_pages+0xdc/0x1a0
[<c013fd08>] __alloc_pages+0x1a8/0x420
[<c014b415>] do_anonymous_page+0x95/0x190
[<c014b570>] do_no_page+0x60/0x340
[<c0149205>] pte_alloc_map+0x95/0xd0
[<c014ba56>] handle_mm_fault+0xf6/0x170
[<c0114e9c>] do_page_fault+0x19c/0x5d5
[<f8af2a45>] init_stall_timer+0x55/0x60 [uhci_hcd]
[<f8af295b>] stall_callback+0xeb/0x180 [uhci_hcd]
[<c0131eb0>] autoremove_wake_function+0x0/0x60
[<c018b7ba>] dnotify_parent+0x3a/0xb0
[<c015aedf>] vfs_read+0xff/0x160
[<c015b2f6>] sys_pread64+0x66/0x90
[<c0114d00>] do_page_fault+0x0/0x5d5
[<c0103c3f>] error_code+0x2b/0x30
Code: b4 26 00 00 00 00 57 56 53 83 ec 08 8b 5c 24 18 85 db 0f 84 01 01 00 00 8d b4 26 00 00 00 00 8d bc 27 00 00 00 00 bf 20 1f 36 c0 <8b> 03 89 7c 24 04 89 1c 24 e8 2d 2a 05 00 85 c0 0f 84 d8 00 00

Hier habe ich einen kommentar gefunden der beschreibt wie man dem verursachenden Programm auf die Schliche kommen könnte:

But, to determine the problem, you
need to run your Oops output through 'ksymoops', do a 'man ksymoops' for
usage instructions. This will attach library calls to all those pointers
in the Oops outputs. That is where I would see that my Oopses were due
to ALSA, you should be able to better root-cause the problem this way.

In einem Handout "Kernel Debugging" habe ich dann folgenden Hinweis gefunden:

3.2.4 "Oops"-Auswertung
Eine Kernel-Oops-Meldung zeigt den Prozessor Status zum Zeitpunkt des Fehlers an. Dazu gehören der Inhalt der CPU-Register, die Lage der Seitendeskriptoren-Tabellen und andere, auf den ersten Blick unverständliche Informationen. Die Meldung wird durch printk-Anweisungen ausgegeben und, wie weiter vorn in Abschnitt 3.2.1 beschrieben, weitergeleitet.
Sämtliche Informationen werden als hexadezimale Werte ausgegeben. Um größeren Nutzen aus diesen Informationen zu ziehen, müssen sie in Symbole aufgelöst werden. Dafür gibt es Hilfsprogramme: klogd und ksymoops. Während klogd die Symbole automatisch decodiert (natürlich nur wenn klogd aktiviert ist), muss ksysmoops vom Benutzer explizit aufgerufen werden.
Beide Programme liefern dann Informationen, welche Funktion aufgerufen wurde bzw. in welchem Modul bei welchem Offset es zum Crash kam.

Läuft bei dir der klogd?


mfg
cane