システム障害と僕達はいかにして戦えば良いのか、障害対応について考えた - Qiita

IT界隈でエンジニアしていると、よく出くわすのが障害対応です。できれば会いたくないという人が多いと思うんですが、僕はけっこう好きです。障害対応。どこに原因があるのか調査をして、バランス良くベターな対応をしたときの楽しさは、プログラミングとはまた違ったものがあります。探偵っぽい感じが面白いですよね。もちろん、障害が発生しない状況を作るのが一番です 弊社では数多くのWebサービス／アプリを運営しているので、過去様々な障害対応をしてきました。その際に、解決までどんな道筋を僕がたどるのかを振り返ってまとめてみました。これが大正解なんてことはなく、人や事象によって違うとは思いますが。 なお、障害検知手法とか、サーバのコマンドとか、コードのデバッグ手法とか、具体的なことは一切出てきません。手続きと思考プロセス的な話です。 障害対応フローチャート 一般的な感じだと思いますが、障害報告から対応完了までのフ

[shifting]

状況を確認の中に「誰がどんな影響を受けているか」を入れるべきだな。

[tofu-kun]

俺たちの戦いはこれからだ

[six13]

どこに問題が起きたらどの顧客に影響があるかを予め整理しとくことと、初動でやることを明確化して定期的に訓練することが、実効性を高めるために大切と思う。あとは、顧客目線での優先度付けもあっていいかも。

[dogusare]

技術や環境に明るくないお客様が現場から「動かない」とだけ打ち上げを喰らい激高して連絡してくるところから始まり、情報共有できるメンバもおらず、「なんとかしろ」としか言わない営業。解析も分析よりも前に応急

[sifue]

これいいまとめだな〜。大体自分もこんな感じだ。ただ、自身の感情のコントロールも含めてわかるとできるの間には結構経験値差はあるよなぁ。

[ko-ya-ma]

なんとなく伝わる秘伝のタレをこうやって形にするのは大事だなぁ

[likk]

警察か救急に電話書けたことがある人は分かるともうけど、聞く側は基本的にそれと同じことをしてあげること。管轄、被害者の有無などなど。警察や救急と違って人が死ぬ可能性は低いのが救いでは有る。

[wyukawa]

業務時間外とかですぐには誰も頼れない状況で自分で即判断して応急処置しないといけない状況の話かと思ったらちょっと違うっぽい。

[okbm]

自分が過去にやってたのとほぼ同じだけど、こんなキレイにはまとめられなかったな…。ちゃんとドキュメントにまとめるのは本当大事。未来の自分と新しいメンバーへの共有ができて最高

[su_zu_ki_1010]

概ねこんな感じのフローだよね。あとは、連絡を受けたらまず深呼吸。あと情報を取りまとめる人を決める、かな。

[iga_k]

これは良いまとめ

[spiral]

ここにかいてあるのは「あたりまえ」。この通り進まないときにどうするかまで踏み込んで考えたい。

[majidaru]

教科書のような対応

[umakoya]

[]

[hachiame]

確かに「焦らない」って大切なことだと思う。対処事例をまとめて共有するのも今後のことを考えると良いことだと思った。

[iekusup]

そうっすね。

[dmnlk]

障害対応方法 - システム障害と僕達はいかにして戦えば良いのか、障害対応について考えた by @zaru on @Qiita

[camellow]

慣れない環境での障害対応だと何を止めていいのか再起動はOKなのか夜中に先輩を叩き起こしてでも対応すべきなのかがわからないととても動きにくいのだけどその気持ちをわかってくれる人はあまりいない

[kzm1760]

面白い。

[reiki4040]

いいまとめ。

[satosssi]

めっちゃよい

[wasai]

今の職場じゃなきゃ障害対応も好きなほうだった。今の職場は100%完璧な対応を求められるのでまじめにやりたくないわ。

[sirocco634]

包括的にまとめられていて、あとから読み返したいっす。

[beerbeerkun]

フローチャートに原因調査と対応検討がないね

[pongeponge]

泣くループにはまり込んだらどうすれば…枯れて死ぬまでループし続けるしかないのか…

[esuito]

はてな界隈の、エンジニアは気難しくて当たり前だから丁寧に対応するべきというしょーもない風潮

[rti7743]

システムにバグはつきものだからデバッグしやすい設計にするのが一番だろう。ログとdump、回収方法、自己チェックルーチンとかいろいろあるよね

[decobisu]

共有したすぎる

[ichinotani]

システムエンジニアなら一度みた障害は二度とは通用しないのだ

[kmatz90]

めも。

[stick23rd]

システム障害のときの資料

[UDONCHAN]

『泣く』

[luccafort]

全体的に良いまとめで社内で共有したい。月一で全エンジニアで共有するTGIFがあるのが最高にいい。

[kjw_junichi]

あってはならないことだが、これに遭遇すると数少ない俺生きてるな感が味わえるという一種の麻薬と最近思うことにしてる。<障害対応

[faibou]

先日、自宅サーバーのDNSで障害があり、設定も何も変更していないのになぜ？とルーターの設定やBINDの設定とにらめっこし、何百回とdig,nslookupを打った結果、ASAHIネットがDDOS食らってDNSクエリ全遮断してたという結末が。