ペイ・ガガーリン「コンソールは白かった」

本番環境でやらかしちゃった人 Advent Calendar 2020 14日目 の記事です。 稀によくあるアラートで始まる朝 ある日の朝、いくつかあるマイクロサービスの内の一つが稀によくある一部のメトリクスが取れてない趣旨のアラートが大量に飛んでいた形跡を発見した。 この稀によくあるアラートの原因として考えられるのは、一部のサーバーの調子悪いか、監視サービスが不調のどちらかだった。 ここで簡単にサービスの構成を説明しよう。 よくあるロードバランサーにいくつかのインスタンスがぶら下がってる系のもので、負荷が高まったらスケールアウトして、負荷が低くなればスケールインするいい感じのやつ。某AWSではオートスケーリンググループと呼ばれるもの。 インスタンスは使い捨て可能で、サーバーが不調になれば、自動でいい感じに殺すため、大体アラートが出ていても、朝起きた時には直ってることが多い。 加えて早朝に

[nicht-sein]

"という夢を見た。"良かった。コンソールは白かったと発言したガガーリンさんはいなかったんだね／このコメント付けたその日にGCPが落ちてGCPコンソールが真っ白になった。ガガーリンさんは実際にいたんだ！orz

[rryu]

存在自体が消えると何も起こらなくなり平穏になるのあるある…

[hitode909]

いい話

[mizchi]

オートスケールでゼロ台になってから永遠にゼロなの、確かにありそう

[masaru_b_cl]

良かったな−　“という夢を見た。”

[koogawa]

“本番環境でやらかしちゃった人 Advent Calendar 2020 14日目 ”