SREによる構成変更がGmailなど広範囲な障害の引き金に。3月13日に発生した障害についてGoogleが報告

SREによる構成変更がGmailなど広範囲な障害の引き金に。3月13日に発生した障害についてGoogleが報告 3月13日の11時53分から15時13分（いずれも日本時間）までの3時間20分のあいだ、GmailやGoogle Drive、Google Photos、Google Storage、App EngineのBlobstore APIなどGoogleの広範囲なサービスで一部の機能が利用できなくなる、あるいは遅延が発生するなどの障害が発生しました。 その原因と対策について、Googleが「Google Cloud Status Dashboardのインシデント#19002」として報告しています。 報告では障害の原因が、ストレージ内のリソースを削減しようとしたSRE（Site Reliability Engineer）による構成変更にあったと説明。 SRE（Site Reliabili

[vanbraam]

SREは100%のavailabilityを保証するものではない.妥当な範囲でリスクを取る事を目指すもの.そこがわかってない人の言う"SRE"は危うい

[NOV1975]

事故で電車が止まったと思って諦めるしかないレベルにインフラ化しとるからなあ

[yubessy]

ここまでしっかりした障害報告を社外にも公開してくれるの、社会的な学びの糧として大変ありがたい

[potato4d]

担当してた人無限に胃が痛そう

[benridane111]

水漏れを止めたところ、水量が増えて他の場所が溢れた。水道整備士がきっかけで。とか言ってたらきりが無いなぁとは思う。

[BoiledEgg]

この前のGmailで添付ファイルだけエラーになってた障害はこれかぁ

[YaSuYuKi]

Googleのチームの実力を持ってしても防ぎきれないレベルの問題だったということだろう。しかも、この分析を受けて信頼性はさらに上がる

[kita-tuba]

SREが機能していたことの証左でもあるのか

[karia]

タイトルに "SREによる" って無理に入れなくてもいいんじゃないかという感じがする

[tmatsuu]

根本原因のところ、自分の想像力が足りないのか抽象的でよくわからんかった。

[Windblume2007]

このインシデント、西海岸の夕方以降だったから帰ってビール飲むかーみたいな感じから対応だったのではないかなー。担当の人のメンタルもたなさそう。

[remoteworker]

SREがサイトの信頼性さげてるやん

[wata88]

カスケード障害

[rrringress]

awsの時もやが信頼のためには迅速な報告マストな時代よな

[mactkg]

カスケード障害みたいになっていってしまったという感じなのかなあ

[t-cyrill]

ストレージのリバランスかな。まあまあありそうな話なのにいろんなところが踏んでる印象あるし難しい

[u_wot_m8]

右にのってる本の広告が皮肉ですね

[IGA-OS]

“報告では障害の原因が、ストレージ内のリソースを削減しようとしたSRE（Site Reliability Engineer）による構成変更にあったと説明”

[gogatsu26]

“報告では障害の原因が、ストレージ内のリソースを削減しようとしたSRE（Site Reliability Engineer）による構成変更にあったと説明”