「監視しているのになぜ気づかない」を解消した3つの施策

「監視ツールは入れています。アラートも設定しています。でも障害は、ユーザーから教えてもらっています」 これを、複数の組織で聞いた。そのたびに少し複雑な気持ちになる。問題はツールではないからだ。 「入れているのに気づかない」の原因は、たいてい同じ3つの場所にある。複数の組織で同じパターンを見ていると、それが確信に変わった。設定の問題というより問いの立て方の問題だ。 「監視できている」の定義が、ずれていた 監視の目的を「インフラが正常かどうか確認すること」だと定義すると、多くの組織では「監視できている」になる。CPUは正常、メモリは正常、エラーレートも閾値内。それを見て「問題ない」と判断する。 ところがその間に、ユーザーは「画面が真っ白」「ボタンが押せない」という体験をしている。 あるチームの支援に入ったとき、まさにその状況だった。監視ダッシュボードはすべてグリーンだ。それでも「ユーザーから使

[revert]

アラートを設定する人間と対応する人間が乖離していると放置されるよね。機能してないアラートのそばには大体インセンティブ設計の壊れた組織構成が横たわってる

[ss49919201]

凄く良い

[cubed-l]

運用設計

[s_nagano]

“監視を見直そうとしている人がいたら、直近1週間で起きた障害を1件選び、「その障害に監視で気づけたか／気づけなかったとしたら何が見えていなかったか」を振り返るところから始めるとよい。”

[f_oggy]

PDCA的な再発防止とかで無駄なアラートとか増えがち

[nguyen-oi]

監視ツール入れて満足しちゃう現場あるあるｗ 結局「誰が何のために見るか」が決まってないとただの騒音なんだよな。ログを捨てる勇気が一番必要説

[tmatsuu]

いいね。地道な取り組み大事。