システム障害を素早く解決するための考え方・工夫について - Uzabase for Engineers

この記事は NewsPicks Advent Calendar 2024 の12日目の記事です。 こんにちは。ソーシャル経済メディア「NewsPicks」エンジニアの桐畑です。 今回は「システム障害を素早く解決するための考え方・工夫について」というテーマでお伝えしたいと思います。 NewsPicksサービス状況・障害対応 障害の原因分類 障害の原因特定・解決までのステップ 1. 障害の状況確認・再現 2. 原因特定 3. 解決方法の検討 素早く原因特定・解決するための考え方・工夫 おわりに NewsPicksサービス状況・障害対応 NewsPicksも今年でサービス開始して11年を迎えました。 サービス開始から11年を経たコードやシステム構成は、その複雑性が一定以上高まっています。一方で、ここ数年にわたりデリバリーの仕組みが改善され、1日に何度も修正がデプロイされる状況となっています。 高

[rawwell]

“「仮説を立てて検証する」 として、次は「如何に素早く精度の高い仮説がを立てれるか」 が重要に”

[hogetax]

作業実施時の責任所在がハードルになるケースが多いはずなんだけど、影響範囲を把握して、エスカレーションフローを動かすってのはどの段階なんだろう？障害時の行動の責任すべてをインシデントコマンダーが負う？

[dazz_2001]

B to Cはパターンが無数にあるので大変だよなぁ。

[magi00]

仮説を立てない対応というのは取り合えず再起動してみるとか何も考えず作業手順書通りに対応するみたいなやつかな

[integrated1453]

環境要因別の再現確認パターンを整理したり、ユーザーに近いところから原因探索するのは王道ですよね。SRE本でもトラブルシューティングは仮説演繹法の応用とあるので、原因について仮説検証プロセスの繰り返しは大事