Debian Festplattenkapazität - df

[pinpin]

Hallo zusammen,

auf meinem Debian Etch tut sich merkwürdiges, wo ich nicht weiter weiß.

#df
Dateisystem          Größe Benut  Verf Ben% Eingehängt auf
/dev/md0              973M  132M  841M  14% /
tmpfs                 253M     0  253M   0% /lib/init/rw
udev                   10M   64K   10M   1% /dev
tmpfs                 253M     0  253M   0% /dev/shm
/dev/md1              228M  7,2M  209M   4% /boot
/dev/mapper/vgsystem-lvhome
                      128M   91M   38M  72% /home
/dev/mapper/vgsystem-lvopt
                      2,0G  1,2G  865M  58% /opt
/dev/mapper/vgsystem-lvsrv
                      256M   33M  224M  13% /srv
/dev/mapper/vgsystem-lvtmp
                      1,0G   60M  965M   6% /tmp
/dev/mapper/vgsystem-lvusr
                      3,1G  2,2G  902M  71% /usr
/dev/mapper/vgsystem-lvvar
                      1,0G  637M  388M  63% /var
/dev/mapper/vgsystem-lvlog
                      1,0G  996M   29M  98% /var/log
# du -s /var/log/
87M     /var/log/

df scheint falsche Werte anzuzeigen. Ich weiß nicht wie das zu erklären ist. Hatte jemand schonmal dieses Problem?

Gruß Björn

[marce]

evtl. noch nicht freigegebene Blöcke gelöschter Dateien, "übermountete" Daten, ...

[pinpin]

Hi,

was kann ich jetzt tun? Mittlerweile ist der Stand nach df zu urteilen auf 99 %. Ich befürchte das morgen der Server nicht mehr laufen wird.

Dateisystem          Größe Benut  Verf Ben% Eingehängt auf
/dev/md0              973M  132M  841M  14% /
tmpfs                 253M     0  253M   0% /lib/init/rw
udev                   10M   64K   10M   1% /dev
tmpfs                 253M     0  253M   0% /dev/shm
/dev/md1              228M  7,2M  209M   4% /boot
/dev/mapper/vgsystem-lvhome
                      128M   91M   38M  72% /home
/dev/mapper/vgsystem-lvopt
                      2,0G  1,2G  865M  58% /opt
/dev/mapper/vgsystem-lvsrv
                      256M   33M  224M  13% /srv
/dev/mapper/vgsystem-lvtmp
                      1,0G   60M  965M   6% /tmp
/dev/mapper/vgsystem-lvusr
                      3,1G  2,2G  898M  72% /usr
/dev/mapper/vgsystem-lvvar
                      1,0G  637M  388M  63% /var
/dev/mapper/vgsystem-lvlog
                      1,0G 1006M   19M  99% /var/log
:/# du -sh /var/log/
87M     /var/log/
:/# du -sh /var/
707M    /var/

[HirschHeisseIch]

Ich würd erstmal per

lsof /var/log

nachgucken, welche Prozesse auf /var/log zugreifen, und ggf. noch offene tail's (o.ä.) killen.
Ist ein gern genommener Speicherplatz-Fresser in /var/log. Wenn nämlich das tail noch läuft, wenn die Datei gelöscht wird, wird der Speicherplatz nicht freigegeben, und /var/log läuft dann irgendwann über.

[pinpin]

Hi,

ah ok, den befehl lsof kannte ich noch garnicht.

Leider in diesem Fall sehr unergibig.

:/# ps -ef |grep -i tail
root     13406 27200  0 17:41 pts/0    00:00:00 grep -i tail
:/# lsof /var/log/
:/# ps -ef |grep -i log
root      2320     1  0 Apr02 ?        00:00:00 /sbin/klogd -x
root      2428  2390  0 Apr02 ?        00:00:00 logger -p daemon.err -t mysqld_safe -i -t mysqld
root      4774     1  0 Apr02 ?        00:00:05 /sbin/mdadm --monitor --pid-file /var/run/mdadm/monitor.pid --daemonise --scan --syslog
root       452     1  0 Apr03 ?        00:01:57 /sbin/syslogd -r
root     13639 27200  0 17:41 pts/0    00:00:00 grep -i log

Demnach greift der Zeit kein Prozess drauf zu und die interessante "tail" Variante trifft ebenfalls nicht zu.

// Oh Moment:

 lsof /var/log
COMMAND    PID     USER   FD   TYPE DEVICE      SIZE NODE NAME
syslogd    452     root    1w   REG  253,6    773788   53 /var/log/auth.log
syslogd    452     root    2w   REG  253,6 180716096   33 /var/log/syslog (deleted)
syslogd    452     root    3w   REG  253,6 238378738   30 /var/log/daemon.log (deleted)
syslogd    452     root    4w   REG  253,6     71092   31 /var/log/kern.log
syslogd    452     root    5w   REG  253,6         0   32 /var/log/lpr.log
syslogd    452     root    6w   REG  253,6     46785   36 /var/log/mail.log
syslogd    452     root    7w   REG  253,6     88979   69 /var/log/user.log
syslogd    452     root    8w   REG  253,6         0   35 /var/log/uucp.log
syslogd    452     root    9w   REG  253,6     46785   46 /var/log/mail.info
syslogd    452     root   10w   REG  253,6         0  103 /var/log/mail.warn
syslogd    452     root   11w   REG  253,6   5575535   38 /var/log/mail.err (deleted)
syslogd    452     root   12w   REG  253,6         0   39 /var/log/news/news.crit
syslogd    452     root   13w   REG  253,6         0   40 /var/log/news/news.err
syslogd    452     root   14w   REG  253,6         0   41 /var/log/news/news.notice
syslogd    452     root   15w   REG  253,6     58157   52 /var/log/debug
syslogd    452     root   16w   REG  253,6    723020   51 /var/log/messages
apache2   1010 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1010 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1010 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2   1045 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1045 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1045 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2   1046 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1046 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   1046 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
acpid     2535     root    1w   REG  253,6       619  298 /var/log/acpid
acpid     2535     root    2w   REG  253,6       619  298 /var/log/acpid
apache2   4580 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   4580 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   4580 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
winbindd  4708     root    2w   REG  253,6      2315  226 /var/log/samba/log.winbindd
winbindd  4708     root    3w   REG  253,6      2315  226 /var/log/samba/log.winbindd
winbindd  4747     root    2w   REG  253,6         0  242 /var/log/samba/log.wb-NAGIOS
winbindd  4747     root   11w   REG  253,6         0  242 /var/log/samba/log.wb-NAGIOS
ntpd      4763      ntp    4w   REG  253,6     10061   78 /var/log/ntpstats/peerstats.20080422
ntpd      4763      ntp    5w   REG  253,6      2988   68 /var/log/ntpstats/loopstats.20080422
apache2   4810     root    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   4810     root    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   4810     root    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2   6871 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   6871 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2   6871 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
winbindd  7223     root    2w   REG  253,6         0  189 /var/log/samba/log.winbindd-idmap
winbindd  7223     root   18w   REG  253,6         0  189 /var/log/samba/log.winbindd-idmap
nmbd     20911     root    2w   REG  253,6      3382  254 /var/log/samba/log.nmbd
nmbd     20911     root    3w   REG  253,6      3382  254 /var/log/samba/log.nmbd
smbd     20913     root    2w   REG  253,6    237075  406 /var/log/samba/log.smbd
smbd     20913     root    5w   REG  253,6    237075  406 /var/log/samba/log.smbd
smbd     20918     root    2w   REG  253,6    237075  406 /var/log/samba/log.smbd
smbd     20918     root    5w   REG  253,6    237075  406 /var/log/samba/log.smbd
apache2  21716 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  21716 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  21716 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2  29073 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  29073 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  29073 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2  31169 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31169 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31169 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2  31170 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31170 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31170 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)
apache2  31171 www-data    2w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31171 www-data    7w   REG  253,6    319036   63 /var/log/apache2/error.log
apache2  31171 www-data    8w   REG  253,6 504869529   48 /var/log/apache2/access.log (deleted)

neuer Versuch neues Glück. Mh...also die dateien hinter denen "(deleted)" steht, blockieren noch Speicherplatz? Wie kann ich denen wieder freigeben?

[HirschHeisseIch]

Ich würds erstmal mit nem Beherzten

kill $PID

versuchen. Wobei $PID durch die jeweilige PID des Prozesses zu ersetzen ist, der da blockiert. Wenn sich dabei die Prozesse weigern, zu sterben natürlich nochmal mit nem kill -9 versuchen.
Sollte der Speicherplatz danach nicht freigegben werden, würd ich die Dateien einfach löschen, und ggf mit touch $DATEINAME und nem chmod bzw. chown die Rechte wieder grade rücken (vorher die Rechte merken, die die Dateien haben).

Ist wahrscheinlich eine Quick'n'Dirty-Variante, sollte aber zum Erfolg führen.

Hinterher würd ich das ganze noch etwas beobachten. Nicht dass der Fehler häufiger auftritt. Dann stimmt da nämlich irgendwas nicht.

[marce]

Da sich sich wohl ausnahmslos um Apache-Logs handelt dürfte ein beherztes

apachectl restart

das Problem beheben...

[pinpin]

Moin,

apache2ctl hat das Problem sofort behoben. So ganz verstanden habe ich nicht, wie es zu diesem Problem kommen konnte.

Wieso wurde der Speicherplatz immer weniger? Mh..gehe ich recht in der Annahme, das der Apache es nicht toll fand, das jemand ihm seine Logdateien einfach so weggelöscht hat?

In jedem Fall, vielen Dank für die Unterstützung.

[marce]

Wenn Du Dateien löscht, die noch in Benutzung sind, so wird (wie sonst auch) nur der Verzeichniseintrag gelöscht. Da der Apache die Daten aber noch in Benutzung hatte und er damit ein Filehandle hatte, welches unabhängig vom Verzeichniseintrag ist - hat er tapfer weiter in die Dateien geschrieben.

Du kannst auch mal zum Versuch die access_log einfach umbenennen - der Apache legt dann keine neu Datei an, sondern schreibt einfach weiter in die alte - weil sich eben der Verzeichniseintrag geändert hat, aber nicht das Filehandle, welches der Apache besitzt.

Dies mal vereinfacht zur Klarstellung...

[pinpin]

Ah okay, Vielen Dank!