Google Cloud Load Balancerの障害、原因は新機能に含まれていたバグ。テスト時も導入時にも発見できず

Google Cloud Load Balancerの障害、原因は新機能に含まれていたバグ。テスト時も導入時にも発見できず Google Cloudのロードバランサーが先週火曜日、7月17日の12時17分（米国太平洋標準時夏時間。日本時間7月18日午前4時17分）から約40分のあいだ障害を起こし、Pokémon GOやSpotifyなどGoogle Cloud上で提供されている多くのサービスが影響を受けた件について、Googleは経緯や原因などの報告を公開しました。 報告によると、原因はロードバランサーに追加された新機能にバグがあったことだとされています。 ロードバランサーがバックエンドと通信できなくなる 前述の通り、障害が発生したのは7月17日の12時17分（米国太平洋標準時夏時間。日本時間7月18日午前4時17分）。 主な現象は、Google HTTP(S) Load Balancer

[mimimitab]

30分で復旧はすごい

[naoto408]

当たり前かも知れないけど、複数のチームがちゃんと一つの目的のために協業出来てることが素晴らしいよな。

[circled]

「障害発生の2分後となる12時19分にアラートを受けて対応を開始、12時44分に原因を究明して対策をデプロイ」→これ日本の大企業だとデプロイまで3日から2週間かかるだろ。Googleは意思決定早いね。

[lizy]

SRE本？にこんな感じの事例が書いてあったような記憶が

[khtno73]

そもそも未検証機能を本番デプロイして大規模障害起こしてるわけで「30分で復旧したからGoogleすごい」ってな順番がおかしい。いや、すごいし事前に時間かけりゃ見つけられんの？って話だけども。

[lbtmplz]

対応すごいな

[richard_raw]

“約30分でこれに対処しました。” なんというスピード感……。

[koyancya]

うおお -> “報告によると、Googleのエンジニアリングチームは障害発生の2分後となる12時19分にアラートを受けて対応を開始、12時44分に原因を究明して対策をデプロイした”

[youhey]

対応の動きがダイナミック

[side_tana]

GAEが障害受けてるのちょっと意外だった、LB別もんだと思ってた

[y___u]

すごいなー

[tkmoteki]

Google Cloud Load Balancerの障害、原因は新機能に含まれていたバグ。テスト時も導入時にも発見できず － Publickey

[trashtoy]

わずかこの程度の時間で FIX させたのはさすがだけど, Googleの年間ダウンタイムは毎年1〜2時間程度 (稼働率約 99.97%) なので, 今回の1件で今後の貯金にどのくらい影響するか気になるところ.

[monster-energy-zx14]

さあうちの品質保証部が嬉々としてクラウドディスるよ。 でも貴方たち、技術理解するきないでしょ