システム障害対応演習を実施した話｜NAVITIME_Tech

こんにちは、ネコ派メタラーです。ナビタイムジャパンで地点検索基盤の開発マネジメントを担当しています。好きなバンドは Arch Enemy です。 システム運用に関わる人であれば、「システム障害」というと耳が痛い方が多いかと思います。システム障害は起こさないに越したことはないですが、万が一システム障害が発生したとき、その行動選択はサービスの信頼性を大きく左右することになります。 迅速に復旧させることはもちろんですが、適切な情報公開によってユーザーの不安を払拭するといったコミュニケーションも重要なポイントです。しかし、緊急事態というプレッシャーを受けながら最適な行動を選択することは容易ではありません。 私が所属しているチームでは、Web API サーバソフトウェアから全文検索ミドルウェアまで含めた開発・運用を行っており、幅広いトラブル対応スキルが必要になります。トラブル対応のスキルを持ったベテ

[TakamoriTarou]

工場の現場なんかでは、これを計画的に半年に1度全体演習、四半期に1度は図上演習、みたいな形でやります。そして、いわゆる防災訓練はこれの一種なんですね。と言うことでみんな真面目に参加しようぜまじで

[morimarii]

報告書書くまでが障害対応ですよ。。。

[kenzy_n]

これまで発生して難問だった障害案件をテストケースにしても良いかも。

[tofu-kun]

良い取り組み。弊社でも合宿で本番環境をコピーして障害状態から復帰させる練習とかしてる

[houyhnhm]

もう少し突っ込んで記載してほしい。障害連絡票とかは多分運用では持っているだろうけど、それらの項目の記載がスムーズだったかとか。インシデントがちゃんと二つ別々に処理出来たかとか。

[nil0303]

ただの訓練なのにすごい胃が痛い...

[NOV1975]

これは訓練じゃないのね。なるほどね。関わる人が多くなるシステムはプロセスの訓練ばっかりやるわ（トラブルの種類は毎回違うし

[renos]

体力あるところしかこんなんできんよなあ

[yoshi_ky]

いい取り組み、形あるもの壊れるのはしょうがないので、どこに障害が起きてどうやって復旧させるかが分からないと運用に不安がつきまとうと思う。

[rjge]

本当に鳥肌立つよい演習シナリオ。トレーニー→オブザーバー→コーディネーターと役割を順々に変えていくとそれぞれで気付きが得られて良さそう。

[garbagephilia]

前職で障害時の模擬訓練はあったが、非IT部門、特に利用者部門とのコミュニケーション部分はおざなりだった。ボヤのうちに消火しても褒められず、大火事になると一時的にせよ英雄扱いという矛盾の一因ではと感じた。

[Wafer]

この考えを一歩進めるとカオスエンジニアリングになる、はず

[miyauchi_it]

備えあれば何とやら。起きて欲しくないことこそテストしておくべきだなー。

[yumu19]

へー。

[napsucks]

chaos monkeyを思い出した

[Shinwiki]

犯人さがしフェーズは？

[yujiorama]

避難訓練。素敵な活動だ