Scheinbar kein Speicher mehr vorhanden - warum?

[clupus]

Hallo allerseits,

ich habe hier einen "erweiterten Router" mit Debian stahen. Den habe ich vor einigen Tagen neu aufgesetzt. Jetzt ist es ein Wheezy amd64 System.

Jetzt habe ich zwei mal folgendes Verhalten beobachtet: Ich lasse den Rechner laufen und am nächsten Tag funktioniert einiges nicht mehr. Z.B. kann ich mich wegen fehlendem NIS nicht mehr einloggen, meine Mails nicht mehr abrufen oder ähnliches.
Ich habe dann festgestellt, dass scheinbar Dienste gekillt werden, weil wohl der Speicher nicht mehr ausreicht. Im syslog sehe ich das hier: http://pastebin.de/34911

Ich hab ein bisschen zu dem Thema recherchiert und dieses Problem taucht v.a. in Bereichen auf, wenn kein Swap (mehr) verfügbar ist. Das kann aber doch nicht das Problem sein. Es sind noch rund 20 GB (!) Swap frei. Da müsste sich doch noch eine freie Stelle finden lassen. Oder nicht???

Könnt ihr mir sagen, woran das liegen kann? Ich bin echt am verzweifeln, warum das System unregelmäßig aussteigt.

Christian

PS: Ich habe das Problem bisher nur beim Einsatz von Linux als Dom0 unter XEN beobachten können. Kann das eine Rolle spielen?

[marce]

Poste doch bitte mal die Ausgabe von top, free, df, ...

[clupus]

Hallo,

hier die Angaben des aktuell laufenden Systems; der Fehler trat nicht in letzter Zeit auf. Habe seither wieder alles gestartet.


$ free -m
total used free shared buffers cached
Mem: 795 746 49 0 20 333
-/+ buffers/cache: 392 402
Swap: 25746 160 25585



$ top -bn 1
top - 10:48:10 up 13:19, 1 user, load average: 0,06, 0,17, 0,20
Tasks: 215 total, 1 running, 214 sleeping, 0 stopped, 0 zombie
%Cpu(s): 2,2 us, 2,2 sy, 4,5 ni, 89,0 id, 1,9 wa, 0,0 hi, 0,1 si, 0,0 st
KiB Mem: 814776 total, 768480 used, 46296 free, 23748 buffers
KiB Swap: 26364348 total, 164844 used, 26199504 free, 343808 cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
20487 root 20 0 25040 1464 1032 R 6,2 0,2 0:00.02 top
1 root 20 0 10648 596 584 S 0,0 0,1 0:00.72 init
2 root 20 0 0 0 0 S 0,0 0,0 0:00.06 kthreadd
3 root 20 0 0 0 0 S 0,0 0,0 0:01.92 ksoftirqd/0
6 root rt 0 0 0 0 S 0,0 0,0 0:00.02 migration/0
7 root rt 0 0 0 0 S 0,0 0,0 0:00.16 watchdog/0
8 root rt 0 0 0 0 S 0,0 0,0 0:00.46 migration/1
10 root 20 0 0 0 0 S 0,0 0,0 0:01.63 ksoftirqd/1
11 root rt 0 0 0 0 S 0,0 0,0 0:00.16 watchdog/1
12 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 cpuset
13 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 khelper
14 root 20 0 0 0 0 S 0,0 0,0 0:00.00 kdevtmpfs
15 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 netns
16 root 20 0 0 0 0 S 0,0 0,0 0:00.00 xenwatch
17 root 20 0 0 0 0 S 0,0 0,0 0:00.00 xenbus
18 root 20 0 0 0 0 S 0,0 0,0 0:00.00 sync_supers
19 root 20 0 0 0 0 S 0,0 0,0 0:00.00 bdi-default
20 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kintegrityd
21 root 0 -20 0 0 0 S 0,0 0,0 0:00.02 kblockd
23 root 20 0 0 0 0 S 0,0 0,0 0:00.01 khungtaskd
24 root 20 0 0 0 0 S 0,0 0,0 1:23.00 kswapd0
25 root 25 5 0 0 0 S 0,0 0,0 0:00.00 ksmd
26 root 20 0 0 0 0 S 0,0 0,0 0:00.00 fsnotify_mark
27 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 crypto
31 root 20 0 0 0 0 S 0,0 0,0 0:00.00 khvcd
90 root 20 0 0 0 0 S 0,0 0,0 0:00.00 khubd
105 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ata_sff
128 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_0
137 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_1
144 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_2
150 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_3
173 root 20 0 0 0 0 S 0,0 0,0 0:00.00 kworker/u:4
189 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_4
193 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_5
194 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_6
195 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_7
197 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_8
198 root 20 0 0 0 0 S 0,0 0,0 0:00.00 scsi_eh_9
202 root 20 0 0 0 0 S 0,0 0,0 0:00.02 kworker/u:9
272 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 md
279 root 20 0 0 0 0 S 0,0 0,0 3:43.10 md2_raid5
288 root 20 0 0 0 0 S 0,0 0,0 0:00.11 md0_raid5
296 root 20 0 0 0 0 S 0,0 0,0 0:49.50 md1_raid5
314 root 20 0 0 0 0 S 0,0 0,0 0:00.03 jbd2/md0-8
315 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
446 root 20 0 21704 608 516 S 0,0 0,1 0:00.19 udevd
517 root 20 0 0 0 0 S 0,0 0,0 0:00.00 mISDN_AVM.1
603 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 edac-poller
722 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ttm_swap
954 root 20 0 0 0 0 S 0,0 0,0 0:00.01 flush-9:0
1464 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1466 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1468 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1492 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1494 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1496 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1498 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1501 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1504 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1508 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1512 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1517 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1520 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1524 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1528 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1531 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1535 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1541 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 kdmflush
1723 root 20 0 0 0 0 S 0,0 0,0 0:00.30 jbd2/dm-7-8
1724 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1725 root 20 0 0 0 0 S 0,0 0,0 0:00.00 jbd2/dm-5-8
1726 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1727 root 20 0 0 0 0 S 0,0 0,0 0:00.48 jbd2/dm-6-8
1728 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1731 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 xfs_mru_cache
1732 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 xfslogd
1733 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 xfsdatad
1734 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 xfsconvertd
1735 root 20 0 0 0 0 S 0,0 0,0 0:00.01 xfsbufd/dm-8
1736 root 20 0 0 0 0 S 0,0 0,0 0:05.58 xfsaild/dm-8
1737 root 20 0 0 0 0 S 0,0 0,0 0:00.01 jbd2/dm-3-8
1738 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1739 root 20 0 0 0 0 S 0,0 0,0 0:02.13 jbd2/dm-4-8
1740 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1741 root 20 0 0 0 0 S 0,0 0,0 0:11.84 jbd2/md2-8
1742 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1743 root 20 0 0 0 0 S 0,0 0,0 0:00.00 jbd2/dm-9-8
1744 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
1745 root 20 0 0 0 0 S 0,0 0,0 0:00.00 xfsbufd/dm-11
1746 root 20 0 0 0 0 S 0,0 0,0 0:05.39 xfsaild/dm-11
1753 root 20 0 0 0 0 S 0,0 0,0 0:00.00 jbd2/dm-10-8
1754 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 ext4-dio-unwrit
2081 root 20 0 0 0 0 S 0,0 0,0 0:03.30 flush-253:4
2083 root 20 0 0 0 0 S 0,0 0,0 0:02.39 flush-253:6
2084 root 20 0 0 0 0 S 0,0 0,0 0:00.15 flush-253:7
3158 root 20 0 18968 700 552 S 0,0 0,1 0:00.08 rpcbind
3190 statd 20 0 23340 572 568 S 0,0 0,1 0:00.00 rpc.statd
3195 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 rpciod
3197 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 nfsiod
3204 root 20 0 25288 584 476 S 0,0 0,1 0:00.00 rpc.idmapd
3780 root 20 0 13788 636 504 S 0,0 0,1 0:00.12 ypserv
3804 root 20 0 52968 1100 748 S 0,0 0,1 0:02.96 rsyslogd
3860 root 20 0 4244 472 468 S 0,0 0,1 0:00.00 acpid
3894 daemon 20 0 16668 140 140 S 0,0 0,0 0:00.00 atd
4010 bind 20 0 203m 14m 1304 S 0,0 1,8 0:05.73 named
4018 root 20 0 3932 0 0 S 0,0 0,0 0:00.00 acpi_fakekeyd
4093 www-data 20 0 127m 240 236 S 0,0 0,0 0:00.00 apt-cacher
4286 root 20 0 350m 1036 900 S 0,0 0,1 0:01.56 /usr/sbin/apach
4351 root 20 0 6352 296 296 S 0,0 0,0 0:00.00 courierlogger
4352 root 20 0 6352 316 312 S 0,0 0,0 0:00.00 courierlogger
4353 root 20 0 8292 580 548 S 0,0 0,1 0:00.00 couriertcpd
4355 root 20 0 18848 464 464 S 0,0 0,1 0:00.00 authdaemond
4378 root 20 0 6352 216 212 S 0,0 0,0 0:00.00 courierlogger
4383 root 20 0 8292 524 520 S 0,0 0,1 0:00.00 couriertcpd
4385 root 20 0 18848 0 0 S 0,0 0,0 0:00.00 authdaemond
4386 root 20 0 18848 112 84 S 0,0 0,0 0:00.00 authdaemond
4387 root 20 0 18848 108 104 S 0,0 0,0 0:00.00 authdaemond
4388 root 20 0 18848 112 84 S 0,0 0,0 0:00.00 authdaemond
4389 root 20 0 27260 560 468 S 0,0 0,1 0:00.00 authdaemond
4469 root 20 0 6352 316 316 S 0,0 0,0 0:00.00 courierlogger
4473 root 20 0 8292 488 488 S 0,0 0,1 0:00.00 couriertcpd
4493 root 20 0 6352 216 212 S 0,0 0,0 0:00.00 courierlogger
4494 root 20 0 8292 524 520 S 0,0 0,1 0:00.00 couriertcpd
4533 clamav 20 0 45432 1428 1108 S 0,0 0,2 0:30.57 freshclam
4593 root 20 0 22280 716 636 S 0,0 0,1 0:00.40 cron
4664 messageb 20 0 30060 728 432 S 0,0 0,1 0:00.07 dbus-daemon
4695 uucp 20 0 36264 416 416 S 0,0 0,1 0:00.00 faxq
4701 uucp 20 0 40724 664 660 S 0,0 0,1 0:00.00 hfaxd
4734 lp 20 0 12568 360 356 S 0,0 0,0 0:00.00 lpd
4746 root 20 0 13080 508 408 S 0,0 0,1 0:00.02 mdadm
4760 avahi 20 0 34288 1256 888 S 0,0 0,2 0:01.39 avahi-daemon
4762 avahi 20 0 34032 72 68 S 0,0 0,0 0:00.00 avahi-daemon
4833 root 20 0 13240 296 296 S 0,0 0,0 0:00.02 dhcpd
4849 www-data 20 0 368m 24m 6264 S 0,0 3,1 0:25.56 /usr/sbin/apach
4851 www-data 20 0 367m 23m 6292 S 0,0 3,0 0:11.87 /usr/sbin/apach
4857 www-data 20 0 367m 23m 6220 S 0,0 3,0 0:21.38 /usr/sbin/apach
4909 root 20 0 21700 752 340 S 0,0 0,1 0:00.00 udevd
4916 root 20 0 78624 2672 1284 S 0,0 0,3 0:01.88 cupsd
4926 root 20 0 52916 2732 1180 S 0,0 0,3 0:03.09 munin-node
4928 root 20 0 4176 432 428 S 0,0 0,1 0:00.05 mysqld_safe
4965 colord 20 0 148m 1352 904 S 0,0 0,2 0:00.08 colord
5184 colord 20 0 364m 5024 2772 S 0,0 0,6 0:00.87 colord-sane
5354 mysql 20 0 366m 23m 2580 S 0,0 3,0 0:44.11 mysqld
5355 root 20 0 4084 516 512 S 0,0 0,1 0:00.00 logger
5476 ntp 20 0 41052 1104 944 S 0,0 0,1 0:03.51 ntpd
5521 root 20 0 10436 520 516 S 0,0 0,1 0:00.03 inetd
5564 root 20 0 0 0 0 S 0,0 0,0 0:00.00 lockd
5565 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 nfsd4
5566 root 0 -20 0 0 0 S 0,0 0,0 0:00.00 nfsd4_callbacks
5567 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5568 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5569 root 20 0 0 0 0 S 0,0 0,0 0:00.05 nfsd
5570 root 20 0 0 0 0 S 0,0 0,0 0:00.01 nfsd
5571 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5572 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5573 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5574 root 20 0 0 0 0 S 0,0 0,0 0:00.00 nfsd
5595 root 20 0 28080 1096 824 S 0,0 0,1 0:00.04 rpc.mountd
5973 root 20 0 22056 164 160 S 0,0 0,0 0:00.00 squid
5977 proxy 20 0 24744 2844 1304 S 0,0 0,3 0:03.32 squid
6002 proxy 20 0 3936 244 244 S 0,0 0,0 0:00.00 unlinkd
6004 root 20 0 69792 1088 928 S 0,0 0,1 0:00.64 nmbd
6010 postgres 20 0 100m 1316 1176 S 0,0 0,2 0:03.69 postgres
6011 root 20 0 49848 572 468 S 0,0 0,1 0:01.04 sshd
6026 root 20 0 99940 1528 1256 S 0,0 0,2 0:00.35 smbd
6048 root 20 0 98,1m 320 320 S 0,0 0,0 0:00.00 smbd
6094 root 20 0 14856 4 0 S 0,0 0,0 0:00.00 in.tftpd
6123 root 20 0 10696 420 420 S 0,0 0,1 0:00.04 xenstored
6130 root 20 0 24920 276 268 S 0,0 0,0 0:00.00 xenconsoled
6269 root 20 0 78980 284 280 S 0,0 0,0 0:00.00 xend
6274 root 20 0 128m 2608 984 S 0,0 0,3 0:13.66 xend
6324 postgres 20 0 100m 216 180 S 0,0 0,0 0:04.76 postgres
6326 postgres 20 0 100m 172 144 S 0,0 0,0 0:04.04 postgres
6327 postgres 20 0 101m 1196 820 S 0,0 0,1 0:02.72 postgres
6328 postgres 20 0 71644 480 256 S 0,0 0,1 0:03.31 postgres
6813 www-data 20 0 364m 23m 5408 S 0,0 3,0 0:03.53 /usr/sbin/apach
7050 root 20 0 37788 908 792 S 0,0 0,1 0:00.80 master
7065 postfix 20 0 40024 1140 980 S 0,0 0,1 0:00.21 qmgr
7112 root 20 0 3948 0 0 S 0,0 0,0 0:00.00 minissdpd
7134 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7135 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7136 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7137 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7138 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7139 root 20 0 18128 620 616 S 0,0 0,1 0:00.00 getty
7145 root 20 0 124m 1408 1136 S 0,0 0,2 0:00.28 console-kit-dae
7212 root 20 0 132m 1124 704 S 0,0 0,1 0:00.10 polkitd
10705 nobody 20 0 30336 424 360 S 0,0 0,1 0:00.51 openvpn
10718 root 20 0 21700 176 176 S 0,0 0,0 0:00.00 udevd
10747 nobody 20 0 30336 492 420 S 0,0 0,1 0:00.53 openvpn
11864 root 20 0 0 0 0 S 0,0 0,0 0:00.62 kworker/0:0
19155 root 20 0 0 0 0 S 0,0 0,0 0:00.08 kworker/0:1
20464 postfix 20 0 39856 2308 1776 S 0,0 0,3 0:00.00 pickup
21673 postfix 20 0 42384 2296 2232 S 0,0 0,3 0:00.02 tlsmgr
26962 root 20 0 0 0 0 S 0,0 0,0 0:02.05 kworker/1:0
28984 root 0 -20 16176 3900 2712 S 0,0 0,5 0:04.59 atop
30564 www-data 20 0 367m 23m 6072 S 0,0 3,0 0:09.43 /usr/sbin/apach
30565 www-data 20 0 367m 23m 6088 S 0,0 3,0 0:14.22 /usr/sbin/apach
30568 root 20 0 90044 3500 2628 S 0,0 0,4 0:00.03 sshd
30573 christia 20 0 90044 1580 708 S 0,0 0,2 0:00.05 sshd
30574 christia 20 0 24388 5148 1592 S 0,0 0,6 0:00.31 bash
30579 christia 20 0 24716 2544 976 S 0,0 0,3 0:09.42 imapd
30587 root 20 0 15816 3344 1880 S 0,0 0,4 0:00.69 couriertls
30692 christia 20 0 22164 1308 1092 S 0,0 0,2 0:00.00 gam_server
30807 www-data 20 0 364m 23m 5440 S 0,0 3,0 0:08.90 /usr/sbin/apach
30812 www-data 20 0 363m 22m 5428 S 0,0 2,9 0:06.72 /usr/sbin/apach
30816 www-data 20 0 367m 24m 6528 S 0,0 3,1 0:13.32 /usr/sbin/apach
30817 www-data 20 0 366m 23m 6072 S 0,0 3,0 0:12.73 /usr/sbin/apach
30827 root 20 0 54260 1572 1164 S 0,0 0,2 0:00.01 sudo
30828 root 20 0 57992 1448 1064 S 0,0 0,2 0:00.01 su
30835 root 20 0 21340 2124 1564 S 0,0 0,3 0:00.04 bash
30849 admin 20 0 23476 1108 856 S 0,0 0,1 0:00.10 imapd
30851 root 20 0 15816 3352 1880 S 0,0 0,4 0:00.12 couriertls
30854 admin 20 0 22164 1312 1092 S 0,0 0,2 0:00.00 gam_server
32179 root 20 0 0 0 0 S 0,0 0,0 0:00.38 kworker/1:2



$df -h
Dateisystem Größe Benutzt Verf. Verw% Eingehängt auf
rootfs 5,5G 345M 4,9G 7% /
udev 10M 0 10M 0% /dev
tmpfs 80M 6,4M 74M 9% /run
/dev/disk/by-uuid/05d923f1-32a9-4b81-af41-4ff5707aaa44 5,5G 345M 4,9G 7% /
tmpfs 5,0M 0 5,0M 0% /run/lock
tmpfs 5,2G 0 5,2G 0% /run/shm
/dev/mapper/server_raid-home 99G 61G 33G 66% /home
/dev/mapper/server_raid-opt 9,9G 153M 9,2G 2% /opt
/dev/mapper/server_raid-srv 1,5G 501M 935M 35% /srv
/dev/mapper/server_raid-tmp 50G 849M 50G 2% /tmp
/dev/mapper/server_raid-usr 9,9G 4,0G 5,4G 43% /usr
/dev/mapper/server_raid-var 9,9G 4,5G 5,0G 48% /var
/dev/md2 1,8T 291G 1,5T 17% /backup
/dev/mapper/server_raid-bilder 50G 21G 27G 44% /srv/data/multimedia/bilder
/dev/mapper/server_raid-otr 2,0T 1,4T 687G 67% /srv/data/multimedia/otr
/dev/mapper/server_raid-musik 60G 50G 6,9G 88% /srv/data/multimedia/musik
/dev/disk/by-uuid/05d923f1-32a9-4b81-af41-4ff5707aaa44 5,5G 345M 4,9G 7% /var/spool/hylafax/etc

Ach ja und noch eine Ergänzung. Nach dem "Crash" habe ich mal free -m ausgeführt. Da waren noch grob 10MB RAM frei und fast der gesamte Swap.

[clupus]

OK, gerade hatte ich wieder das Problem. Jetzt die aktuellen Werte als pastebin:
df: http://paste.debian.net/11516/
top: http://paste.debian.net/11517/
free: http://paste.debian.net/11518/

Christian

[cheshire]

ohne jetzt deinen originalen oom trace im detail zerlegen zu koennen: kannste mal atop installieren auf deinem system? das ist nen bisschen schicker als top, du kannst, wenn du es aufgerufen hast, nach speicherauslastung sortieren mit druck auf die taste 'm' UND (der eigentliche grund): wenn der atopd laeuft, schreibt der alle 10 min den aktuellen status nach /var/log/atop/atop_DATUM und das kannste dir zur not nach nem crash nochmal ansehen per

atop -r /var/log/atop_DATUM
(da am besten wieder nach memory sortieren und mit den tasten 't' bzw 'T' in 10min-schritten "durch den tag reisen"... wenn es tatsaechlich am speichermangel lag, kann man hier evtl. was rausbekommen... s. auch http://www.atoptool.nl/

[clupus]

Hallo.
Ich hatte (wegen anderer Probleme) bereits einen atop installiert, der fleißig mitprotokolliert hat.
Kurz vor dem Ausstieg sehe ich folgendes: http://pastebin.de/34924

Meine Interpretation: Von 800MB RAM sind 300MB mit Cache belegt und noch 30MB frei. Mich wundert dabei, warum der Cache dann nicht abgebaut wird...

Auf jeden Fall läuft wohl ein Apache mit 3.9GB virtuellem Speicher und davon 237MB RAM (huch, wo ist den der restliche Speicher? 3.9GB-237MB=3.7GB müssten doch auf dem Swap liegen, oder? Da liegt aber nur 0.1GB lt Anzeige oben)

Auch mysql braucht viel Speicher, wenn auch der virtuelle Speicher wesentlich geringer bleibt.

Christian

PS: Ich habe die default Einstellungen von Debian übernimmen für die Konfiguration des Prefork apaches.

[cheshire]

wieso cache abbauen wenn noch 30 MB ungenutzt sind... "only used RAM is good RAM"... der kernel versucht, nicht belegten speicher als festplatten-cache zu verwenden, um zugriffe zu beschleunigen (mal grob formuliert). sobald eine anwendung speicher anfordert, wird der cache normalerweise abgebaut und die angeforderte menge freigegeben, sofern kein ungenutzter RAM mehr verfuegbar ist, effektiv kann man also sagen: fuer anwendungen zur verfuegung stehender speicher == free + cache (s. http://www.linuxatemyram.com/

soweit ich weiss, hat VSIZE nicht zwangslaeufig was mit swap zu tun sondern bezieht sich auf den "verwendeten" virtuellen adressraum eines prozesses... RSIZE ist interessanter, hilft hier aber nicht weiter...

in dem zustand wuerde ich sagen, sieht das system gut aus, aber wie gesagt, atop speichert auch nur alle 10 min den status, insofern kann es natuerlich sein, dass das problem in den kommenden 9 minuten auftrat...

da mir dein munin noch auffiel: was sagt denn das bildchen ueber die speicherauslastung? munin schreibt ja alle fuenf minuten was raus :)

[clupus]

Hallo,

aufgrund des Logs kann ich folgendes sagen:
Der OOM Daemon hat zwei mal zugeschlagen. Einmal hat er 4 Dienst um 11:52 gekillt und dann noch mal 9 gegen 11:59 jeweis am Do, 20. Jun.

Leider kann ich aus den Graphen nicht viel erkennen.

Christian

http://www.wolf-stuttgart.net/~christian/munin/memory-pinpoint.png

http://www.wolf-stuttgart.net/~christian/munin/memory-pinpoint_zoom.png

Christian

[marce]

kannst Du zum Gesamtsystem ein paar mehr Infos geben? Du schreibst oben was von VM, Dom0, Xen, ... - welche Komponenten in welcher Konfiguration sind denn beteiligt? Welche Versionen welchen OS laufen wo in welcher "Konfiguration"?

http://www.linuxdevcenter.com/pub/a/linux/2006/11/30/linux-out-of-memory.html schon gefunden?

[Huhn Hur Tu]

Was mir auffaellt,

du hast einen Apache,
eine MySQL,
eine Postgres
ein Dom0 XEN (evtl noch die eine oder andere DomU),
Munin,
imapd,
cryto (evtl fuer Filesystem),
clamAV,
courier,
mdadm,
einen Gam_server (Gameserver?)

am laufen und du wunderst dich dass dein Speicher nicht reicht.
Ich tippe drauf dass ein Cronjob, regelmaessiger Service, evtl Clam Scan, Munin beim Graphenzeichnen, Imap Script ein wenig Ram benoetigt.

Bau mehr RAM ein oder trenn dich von einigen Services.
Schalte erst mal ab was du nicht brauchst und warte ob es wieder auftritt.
Apache, Munin und das zugehoerige DBMS als Anfang, evtl auch CLAM.


Gruss Stefan

[clupus]

Hallo,


kannst Du zum Gesamtsystem ein paar mehr Infos geben? Du schreibst oben was von VM, Dom0, Xen, ... - welche Komponenten in welcher Konfiguration sind denn beteiligt? Welche Versionen welchen OS laufen wo in welcher "Konfiguration"?

http://www.linuxdevcenter.com/pub/a/linux/2006/11/30/linux-out-of-memory.html schon gefunden?

Also *noch* gibt es kein Gastsystem. Ich betrachte im Moment nur den Host. Erst wenn der läuft, kann ich an XEN und Konsorten denken. Bisher sind alle Komponenten Dom0 zugewiesen und das Problem tritt auch dort auf.
Ich möchte später einzelne Funktionen auslagern oder ggf auch die bestehenden Funktionen auf unterschiedliche DomUs aufteilen.

Ich denke, du illst die Hardware wissen. Das ist ein AMD64X2 5200+ mit 1GB DDR2 RAM. Es befindet sich ein Software-RAID Array in dem Gehäuse.

Was benötigst du noch so alles?

Der Link bestätigt eingentlich meine Vermutung: Solange noch Swap frei ist, sollte der OOM nicht aktiviert werden. Das ist bei mehr als 20GB freiem Swap nicht einsichtig....


Was mir auffaellt,

du hast einen Apache,
eine MySQL,
eine Postgres
ein Dom0 XEN (evtl noch die eine oder andere DomU),
Munin,
imapd,
cryto (evtl fuer Filesystem),
clamAV,
courier,
mdadm,
einen Gam_server (Gameserver?)

am laufen und du wunderst dich dass dein Speicher nicht reicht.
Ich tippe drauf dass ein Cronjob, regelmaessiger Service, evtl Clam Scan, Munin beim Graphenzeichnen, Imap Script ein wenig Ram benoetigt.

Bau mehr RAM ein oder trenn dich von einigen Services.
Schalte erst mal ab was du nicht brauchst und warte ob es wieder auftritt.
Apache, Munin und das zugehoerige DBMS als Anfang, evtl auch CLAM.


Gruss Stefan

Wie gesagt, noch gibt es keine DomU, die Speicher verbrauchen.

RAM ist schon bestellt. Meine Befürchtung ist aber, dass der Einbau von RAM das Problem nur hinauszögert und nicht behebt. Ich bin an einer Behebung der Ursache des Problems interessiert. Irgendwann werden die extra 4GB auch aufgebraucht sein, wenn ein Memory Leak o.ä. vorhanden ist.

Die LAMP Konfiguration ist leider essentiell. Diese stellt im Internet Seiten bereit (wenn's momentan auch nur mein Kalender ist), die ich nicht abschalten kann/möchte.

Außerdem verstehe ich das Problem nicht. (Tut mir leid, wenn ich schwer von Begriff bin) Soweit ich weiß, wird beim Aufruf von malloc() Speicher für ein Programm reserviert. Das Programm weiß dabei aber nicht, wo der Speicher genau liegen wird. Das ist Aufgabe des Betriebssystems. Intern kennt das Programm nur eine Adresse im virtuellen Adressraum. Die Idee ist, dass man die Stelle verändern kann, an der die Daten liegen, ohne dass das Programm was davon mitbekommt. Das OS kann also die Daten im RAM halten oder wenn dieser aus ist auch theoretisch irgendwo anders hinschreiben (Swap!). Das ist natürlich Gift für die Performance aber es kommt nicht zum Zusammenbruch des Systems weil kein (virtueller) Speicher mehr zur Verfügung steht.
Ich wüsste nicht, dass ein Programm die Möglichkeit hätte, einen reinen RAM-Bereich zu reservieren. Also einen Bereich, der vom Swappen ausgenommen ist. Das wäre die einzige Erklärung für mich, warum der Kernel nicht beginnt, einzelne Bereiche in den Swap zu verschieben, sobald der RAM voll läuft.

Bitte klärt mich auf, wenn ich das irgendwie falsch verstanden habe.

Christian

[just4uk]

Ich weis ja nicht was du vor hast aber ob du mit 4GB Spass haben wirst?


Gruß aus L.E.
Uwe

[clupus]

Hallo Uwe,


Ich weis ja nicht was du vor hast aber ob du mit 4GB Spass haben wirst?

was willst du mir damit sagen? Das ich zu hoch oder zu niedrig gegriffen habe? Zu niedrig glaube ich nicht, da ich was von XEN geschrieben habe.

Auf der anderen Seite: Wofür sollte ich >=8GB RAM brauchen? Das ist ein erweiterter Router! Ich will damit nicht die nächsten 20 unbekannten Stellen von Pi berechnen ;).

Christian

[just4uk]

..... Das ist ein erweiterter Router!.....Das hatte ich überlesen/vergesen/verdrängt oder so:o

Gruß aus L.E.
Uwe