Googleサービスでの8月20日の大規模障害について、Googleが原因と対策を説明

この障害は、19日の午後8時55分～20日の午前3時30日に、複数のG SuiteおよびGoogle Cloud Platform製品でエラー、利用不可、配信の遅延が発生したというもの。日本でもGmailにファイルを添付しようとするとエラーが表示されるなどの不具合が数時間にわたって報告された。 問題は、小規模なものも含めると、Gmail、Googleドライブ、Google Docs、New Google Sites、Chat、Meet、Keep、Google Voice、Jamboard、Admin Console、App Engine、Cloud Logging、Cloud Storageなど多岐にわたった。 根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷。このBLOB

[koyhoge]

HW故障や設定ミスではなく、順当にトラフィックに耐えきれなかった結果の大規模トラブルって案外珍しいな。

[tamtam3]

過負荷に関しては、Googleが見込みのないサービスをさっさと辞める理由の一つでもあるんだろうなぁ

[harumomo2006]

Googleですら耐えられない負荷とは

[shoh8]

へえ、普通に分散システムが負荷に耐えられなかったのか

[ya--mada]

これお知らせが来てたけど、自分はまったく影響を感じてなくて、🤔オレ仕事してねぇーなぁーって実感した。

[take-it]

悪循環にハマったとはいえ、なんかイベントがあったとか負荷がかかる明確な要因があるわけでもないのにGoogleでさえ障害が起きるレベルとか、なかなか絶望的。

[dickbruna]

googleがLargeObjectって言うと凄みがあるな。物理学者が言う「薄い膜」「清浄な表面」みたいな印象。

[augsUK]

「別のGoogleサービスからのトラフィックの増加」とはなんだろう？ふつうに耐えられなかったのね。とりあえずエンタープライズ向けとしては重大インシデント

[Falky]

インフラってこういうのあるよなー、ジワジワ耐えきれなくなって溢れるんじゃなくて、めっちゃhealthyに見えてたのに何かがとある閾値に達した瞬間突然決壊するみたいなやつ。大変そう。

[hiroomi]

“失敗したリクエストをキャンセルして再試行しようとすることで事態は悪化し、トラフィックがさらに増加”

[kamenashi1982]

GCS主体だったもんな

[itboy]

すごい巻き込まれたやつ。

[knok]

awsでいえばs3が死んだようなものかな

[dpdp]

ふーん

[deep_one]

「操作が過度に再試行されたことでリソースが使い果たされた。失敗したリクエストをキャンセルして再試行しようとすることで事態は悪化」ありがち。早期にコメント出して再試行させないのは大事。

[quabbin]

障害が起きたのはUSリージョンだけのはずなのに、わりとクライアントから見た地域的に広範囲な障害が起きていたところから、いろんなサービスがUSリージョンに依存していたんだなぁと感じた次第

[muuuminsan]

“メタデータサービスの過負荷が始まって待ち時間が発生し、操作が過度に再試行されたことでリソースが使い果たされた。失敗したリクエストをキャンセルして再試行しようとすることで事態は悪化”意外と普通の原因

[yutaka_maruoka]

GCPも影響受けてたのか。第三者影響を受けるのはパブリッククラウドの、というか相乗りサービスの宿命よな。。

[osugi3y]

Googleに限らないが何か一つのサービスに依存すると止まったときに大変そう

[kazuya030]

“BLOBメタデータサービスの過負荷が始まって待ち時間が発生し、操作が過度に再試行されたことでリソースが使い果たされた。” 事故パターン

[mysql8]

YouTubeの動画アップロードが多すぎた

[osakan]

仁鶴「なるほど、なるほど」（分かってない）

[kearai]

大規模障害の原因として珍しい気がする

[cl-gaku]

グーグルでも純粋なリソース不足なんか起きるんだな

[mfluder]

“根本的な原因は、Googleの多様なサービスで使っている、BLOB(Binary Large OBject)と呼ばれる非構造化データに共通の内部分散システムでの過負荷”

[tecepe]

Googleもこういうトラブル起こすんだな…そういやAppleってサービスのサーバー全部自前なんかな？

[Harnoncourt]

添付ファイルをアップしようとするとエラーになったんけど、これで理由がわかった／BLOBのエンコード＆デコード処理はかなり重いのよね（oracle 11gの場合）

[gogatsu26]

“根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷”

[Cald]

これがポイントかな "単体エラーがリソース全体でキャンセルリクエストのフラッドになる問題の修復"

[gfx]

“根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷”

[zoidstown]

“根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷。”