Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ

Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ クラウドのどこかで障害や災害が発生したとしても、その影響はアベイラビリティゾーンを超えることはなく、そのために複数のアベイラビリティゾーン（Google Compute Engineでは「ゾーン」）にシステムを分散して配置することで、クラウドの障害の影響を受けない高い可用性を備えたシステム構築ができる。これはクラウド（IaaS）に対応したシステム構築におけるもっとも基本的な考え方です。 しかし先週、2016年4月11日にGoogle Compute Engineで発生した通信障害は、アベイラビリティゾーンどころかリージョンの境界も越え、世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う

[memoyashi]

「 Googleのエンジニアは訓練通り、以前正常動作していた時点のコンフィグレーションに戻すことを決断。すぐさま実行することで18分後に障害から脱した。」→コンティンと訓練は大事。ちゃんとコストをかけるべきところ

[Nyoho]

Googleもネットワークを落とす (古事成語)

[rx7]

言葉で書くのは簡単だが、この状況下で18分で冷静に復旧させるのがすごい。百戦錬磨感がにじみ出ている。

[rjge]

“訓練通りにコンフィグレーションに戻すことで復旧” さらっと書いてあるけどこれを普通にできるようにするのが難しい……

[misomico]

中学校の避難訓練より早い

[ryun_ryun]

Googleでも全停止なんてあるんやなあ。それにしてもわずか18分で復旧って、運用レベルもピカイチじゃないか。これが日本のSIerなら下手すりゃ丸一日止めるぞ。

[cabinotier]

やっぱりパックエンドでエニーキャスト使ってんのやなぁ。そうでなきゃリクエスト捌き切れんよな。そしてクラウドが肥大化していくことにより全体を見通せる者が居なくなっていくクラウドの急所が露わになった。

[katzchang]

普段動いていないものは信用するなっていうのと、訓練大事だよな―っていうのと。

[onigra]

18分で復旧できるのもすごいし、復旧の訓練を行ってるのもさすがという感じ。先日のANAの現場オペレーションの件といい、非常時の訓練がアツい

[kotaponx]

状況説明を読んでいるだけでもヒヤヒヤするな。「あなたたちの中で設定ミスを犯したことのない者が、まずこのエンジニアに石を投げなさい」ってやつだ。でも意思決定も含めて18分で戻れるのはすごい。

[otchy210]

この規模の障害復旧が 18 分！これは ANA の件に引き続き、というかそれを上回り、運用スゲー案件だ。

[sylvan_l]

Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ

[iR3]

ふむふむ

[ya--mada]

オーケストレーション障害か

[justcycle]

「 Googleのエンジニアは訓練通り、以前正常動作していた時点のコンフィグレーションに戻すことを決断。すぐさま実行することで18分後に障害から脱した。

[cpw]

こういう障害起こして逆に凄いと思わせる対応と情報公開の姿勢がヤバい。

[hayakita]

深刻な障害が１８分で...！

[koyhoge]

障害対応時のフェイルセーフのためのコードは、大規模になればそれだけ検証が難しくなるんだなぁ。20分かからずに復旧したことがさり気なくすごい。

[tarchan]

＞世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う

[delphinus35]

既に指摘されてるが、「障害に気付いてから18分後」ではなく、「完全ダウンから18分後」に復旧なので、別に、ｽｰﾊﾟｰﾊｶｰが1000秒で問題を解決したわけではない。／それにしても尋常じゃない速度だが。

[miyadai454]

"なお、この障害の影響を受けた顧客には、月額料金の10％から25％に相当する利用権が付与されるとのこと。"

[tzkoba]

復旧速度に驚き。

[takc923]

このレベルの障害を18分で復旧すんのすごい

[master-0717]

レポートによると、設定ファイルを反映時、1つ目の設定ファイルが反映された後に矛盾を検知し自動切り戻し処理に入ったところ不具合発生、IP blocksを全て設定から削除し不完全な設定ファイルが反映されたとのこと

[Cujo]

『Googleのエンジニアは**訓練通り**、以前正常動作していた時点のコンフィグレーションに戻すことを決断』

[indication]

過去の設定を持っていることもそうだが、過去の設定が正しいという情報も管理してるなんて、どんなシステムだろう。一口に戻したと言っても何百？台規模なんだろうな…

[tohima]

18分て障害が起き始めてからじゃなくて完全に使えなくなってからで、18分で復旧させたっていうとちょっと盛って聞こえる。最初のリージョンが落ちてから1時間ちょっとだからそれでもすごいんだけど。

[tomoyarn]

コンフィグを投入してからロールバックするまで4時間以上かかっている。その間、なにやってたの？という感じ。通信が完全に止まってから戻すってどんだけだよ。

[JULY]

これだけの大規模障害で、18分で元に戻せるのが信じられない...

[IGA-OS]

これを18分で直せるのがGoogleの持つ経験値か。

[kei_1010]

googleカーでこんな想定外の障害が起きて全世界で轢き逃げしまくったら、誰が逮捕されるんだろう、とか思ってしまった。

[AirReader]

すごい…

[rti7743]

避難訓練は大切

[quabbin]

わかりやすい解説。そういうことだったのか…。ちなみにここにある時間は、PDT。JSTでいうと11時前後。

[hdkINO33]

"直前のコンフィグレーションに戻る代わりに、新しいコンフィグレーションからすべてのIPブロックを削除したものを適用して、その設定を伝播させはじめたのだ" こわい……

[toritori0318]

復旧早すぎ

[nureha]

本筋とまったく関係ないけど"Googlen"と"フェイルセール"の二つの誤字？が気になった