GitHubが1月28日のサービス障害の詳細を公開。停電により内部のChatOpsシステムも落ちて初期対応が困難に。Redisクラスタの復旧に時間

GitHubが1月28日のサービス障害の詳細を公開。停電により内部のChatOpsシステムも落ちて初期対応が困難に。Redisクラスタの復旧に時間 報告では、サービス障害はGitHub社内のChatOpsシステムも巻き込んで初期対応に時間がかかってしまったこと、一時的な停電がRedisクラスタの障害を引き起こしたため、その究明と復旧が作業の主な部分だったことなどが説明されています。 報告の要点をまとめました。 内部のChatOpsシステムも障害に GitHubのサービス障害は、すでに報告されているように、自社データセンターにおける一時的な停電が最初の原因でした。 At 00:23am UTC on Thursday, January 28th, 2016 (4:23pm PST, Wednesday, January 27th) our primary data center experi

[kaputte]

よくありそうな障害だが、このクラスの大規模運用で発生はゾッとする。そして、それをたった2時間で収拾させる運用力に感服。サーバ何台か想像もつかんが、部分的な停電なんて状況把握だけでもアレ。

[Hash]

最初DDoS疑ったりってことは自前データセンター側に疎通監視とか綿密に張ってるわけではないのかな でも素早い対応な気がする

[mh615033891]

短期間でそこそこ具体的な対策方針をまとめて公開しちゃえるのよいなぁ。

[raimon49]

status.github.comの裏側で起こっていた事

[Cujo]

トラブルを（うまく）経験したシステムの方が（うまく）枯れていくので。。。。。

[tadyjp]

ChatOpsとSPOF。。

[tnkkj]

“ロントエンドサーバは影響を受けなかったものの、リクエストを受け付けるサービスを提供しているサーバが動作不良となりHTTP 503を返すようになります。”

[napsucks]

Chaos Monkeyを入れよう

[iekusup]

ほー。

[indication]

redisサーバーと括っているけど、揮発性のストアが揮発せずに残っていること、さらに、切り分けて再現しないことをあれだけの時間でやったってのは凄すぎる。redis使ったことないけど

[PowerEdge]

無理やり電源のせいにしてるんだろうなあとも

[houyhnhm]

ん？何でSPOFの話(ブコメ)？

[minonet]

GitHubが1月28日のサービス障害の詳細を公開。停電により内部のChatOpsシステムも落ちて初期対応が困難に。Redisクラスタの復旧に時間 GitHubは、1月28日に起きたサービス障害の詳細を報告した「January…

[taketyan]

ChatOps が SPOF になるのよくない。ターミナル操作なり Web アプリポチポチでもできるけどチャットからできたほうが楽だし状況もリアルタイムにシェアできて便利、ぐらいに留めておかないと

[koba789]

“ChatOpsサーバの冗長化” たしかにいざというときには SPOF になるよなぁ……

[oooooo4150]

障害内容と復旧対応を詳細に公開する企業はとても好感がもてる