Linuxでファイルディスクリプタが足りなくなりサービス停止障害 - モーグルとカバとパウダーの日記

今日、Web/メール等のサービスを稼働させてる自社のLinuxサーバが、突然サービスが停止してしまう障害が発生した。 特にメールでトラブルが広がっており、プロセス見るとdovecot deliverとpop3が多数止まっている状況だった。 ログを見ると、deliverは「still being delivered」というエラー、pop3は「Too many open files in system」等のエラーを吐いていた。 最初はメールだけのトラブルと思い、とりあえずdovecotとpostfixのstopを掛けたのだが、デーモンの親プロセスは死ぬもののdeliverもpop3もSTATが「D」や「Ds」となっていたため「# kill -9」しても死なず。 いくつかログを見たところ、ファイルシステムの障害は考えにくかったため、リブートするしかなかろうということで「# shutdown -r

[cakephper]

これが起きるとsshでログインできなくなるのかな？

[ryo14_ana]

shutdownきかなかったら泣いてお家帰る

[kimutansk]

kill -9でプロセス落とせず、shutdownも出来ず。。。ですか。ファイルディスクリプタ不足でここまでなりますか

[kyuxyu]

"kernel: VFS: file-max limit"

[kansai901]

linux ファイルディスクリプタ

[hirafoo]

kernel: VFS: file-max limit 4096 reached　になったら　/proc/sys/fs/file-max

[nurai]

ファイルディスクリプタの概要

[iww]

『"echo b > /proc/sysrq-trigger"をするとハードウェアリブートします。』知らなかった

[n2s]

お疲れ様でした… / kill -9でも消えないDプロセスが現れたときの絶望感は半端ないですね