Redashのログが無限に貯まり続けたせいでdisk fullで死んだ - モヒカンメモ

セルフホストしているRedashのログが貯まり続けたせいでdisk fullで死んだ。 OSS版Redash をEC2でセルフホストしてそのまま運用していると踏むトラップだと思うので各位気をつけられたし。 ざっくり要点まとめ Redashは結構ログを吐く Docker Daemonはデフォルト設定では無限にログを貯め続ける ↑の仕様が重なって、ログのローテーション設定をしておかないとディスクが食いつぶされる 調査と一次対応 「Redashが使えなくなった」というアラートを受けて調査したところ、dockerがdiskを食いつぶしてハングしていた。 root@xxx:/var/lib/docker# cat . | sort -r 9.7G containers 9.6G overlay2 ... 下記の記事を参考に各コンテナのdisk使用量を調べるも微々たる大きさ。要因は別にありそう。 su

[pinkumohikan]

トラブル対応の備忘録を残した