Dellerium
26.05.08, 08:58
Hallo,
ich hatte am Wochende ein "kleines" Problem. Das habe ich zwar lösen können - allerdings gefiel mir die Lösung nicht wirklich. Daher mal eine Frage in die Runde wie man das in Zukunft (was hoffentlich nicht der Fall sein wird) besser lösen könnte.
Ich habe hier einen Datenbank Server. Zum Einsatz kommt PostgreSQL 8.2.5. Eben jener Server wollte am Wochende nicht mehr so wie er sollte. Das DBMS lief zwar noch und lies sich auch ansprechen (shell tools), allerdings war der Zugriff auf die eigentliche Datenbank blockiert. Ein schneller Blick mit ps aux und top förderte zu Tage, das sämtliche Prozesse auf IO warteten(so ~50, was auch den hohen Load erklärte ;)). Top zeigte dann auch, dass einer der Prozessoren zu 100% mit IO beschäftigt war. Allerdings wurden, wie vmstat dann zeigte, keinerlei Blöcke über das betreffende Device ausgetauscht.
Als nächste wollte ich dann ausschliessen, dass die Partition ausgestiegen ist. Also das Dateisystem angesehen - das funktioniert noch. Offene Dateien via lsof anzeigen lassen ging dann nicht mehr - lsof hing und wartete fortan ebenfalls auf IO wie ps aux auf der anderen Shell zeigte. Ein neuerliches ls auf dem betreffenden Dateisystem ging nach dieser Aktion ebenfalls nicht mehr.
Da sich keiner der Prozesse abschiessen lies - zuerst sanft und danach mit kill -9 blieb mir im Endeffekt keine andere Wahl, als den Server hart auszuknipsen. Denn Beenden lies sich die DB nicht und damit konnte auch der Server nicht heruntergefahren werden. :mad:
dmesg und auch die sonstigen Logfiles lieferten keinerlei Einträge die auf irgendwelche Probleme hindeuten. An der Hardware liegt es nicht. Neben das DB liegen auf dem SAN weitere Partitionen - alle liessen sich Problemlos ansprechen.
Im Augenblick vermute ich eine Art Deadlock auf Dateisystem Ebene - das ist allerdings auch nur geraten....
Jemand von auch nen Tip oder ne Idee?
Gruß Dellerium
ich hatte am Wochende ein "kleines" Problem. Das habe ich zwar lösen können - allerdings gefiel mir die Lösung nicht wirklich. Daher mal eine Frage in die Runde wie man das in Zukunft (was hoffentlich nicht der Fall sein wird) besser lösen könnte.
Ich habe hier einen Datenbank Server. Zum Einsatz kommt PostgreSQL 8.2.5. Eben jener Server wollte am Wochende nicht mehr so wie er sollte. Das DBMS lief zwar noch und lies sich auch ansprechen (shell tools), allerdings war der Zugriff auf die eigentliche Datenbank blockiert. Ein schneller Blick mit ps aux und top förderte zu Tage, das sämtliche Prozesse auf IO warteten(so ~50, was auch den hohen Load erklärte ;)). Top zeigte dann auch, dass einer der Prozessoren zu 100% mit IO beschäftigt war. Allerdings wurden, wie vmstat dann zeigte, keinerlei Blöcke über das betreffende Device ausgetauscht.
Als nächste wollte ich dann ausschliessen, dass die Partition ausgestiegen ist. Also das Dateisystem angesehen - das funktioniert noch. Offene Dateien via lsof anzeigen lassen ging dann nicht mehr - lsof hing und wartete fortan ebenfalls auf IO wie ps aux auf der anderen Shell zeigte. Ein neuerliches ls auf dem betreffenden Dateisystem ging nach dieser Aktion ebenfalls nicht mehr.
Da sich keiner der Prozesse abschiessen lies - zuerst sanft und danach mit kill -9 blieb mir im Endeffekt keine andere Wahl, als den Server hart auszuknipsen. Denn Beenden lies sich die DB nicht und damit konnte auch der Server nicht heruntergefahren werden. :mad:
dmesg und auch die sonstigen Logfiles lieferten keinerlei Einträge die auf irgendwelche Probleme hindeuten. An der Hardware liegt es nicht. Neben das DB liegen auf dem SAN weitere Partitionen - alle liessen sich Problemlos ansprechen.
Im Augenblick vermute ich eine Art Deadlock auf Dateisystem Ebene - das ist allerdings auch nur geraten....
Jemand von auch nen Tip oder ne Idee?
Gruß Dellerium