GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 - ＠IT

GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータ管理データベースの不整合を引き起こし、復旧に時間を要したという。 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータを管理するデータベースの不整合を引き起こし、復旧に時間を要した

[kuippa]

すげぇな。障害分析からこれからの対応ロードマップ、ついでに新機能のアピールまでと、仕事のできる人存在感がすごい。

[hirata_yasuyuki]

「秘匿性を保ちながら」トラブル対応で難しいのがこの観点で、ユーザデータを表示させないようオペレーションに気を遣う。

[netcraft3]

"これに関連して、GitHubは今回、事後分析の結論の1つとして、地理的に離れた2つのデータセンターにまたがってマスターセレクションを行う設定をやめると表明した"

[hiby]

＞データベースクラスタをバックアップから完全に再構築する必要が生じたことはなかった　やっぱやってなかったのね。しかしデータありDBクラスタを再構築とか震えるわ。

[isrc]

事後分析の結論の1つとして、地理的に離れた2つのデータセンターにまたがってマスターセレクションを行う設定をやめると表明／オーケストレータ―の振る舞いは設定の通りだった。アプリ層が対応できなかった。

[richard_raw]

これがChaos Engineeringか……。むしろ一日で復旧できたの凄いですな。

[chrolis]

へ〜 クロスリージョンなサービスだと考えること一気に増えて大変そう

[onesplat]

レストアに時間がかかってるのが問題だよな。いくらかは手元に置いておいたほうが良いのかな。

[mas-higa]

メンテするときはマスター切り替えてスレーブ止めよう。(素人)

[katsyoshi]

“地理的に離れた2つのデータセンターにまたがってマスターセレクションを行う設定をやめる”

[sh2]

リージョンまたぎの自動フェイルオーバをやめるのは良さそう。事前に何かできるとすれば、1分程度の計画NW断に対して不意のフェイルオーバをしないよう、作業前にオーケストレータの監視を一時停止する、くらいかなあ

[tettekete37564]

DB は生き物。

[ken39arg]

改めてGitHub大好きだわー

[n314]

これ規模が小さかったら基本にしてよくある話じゃないのかな。

[taguch1]

マルチリージョン間でのマスタ昇格。 アプリケーション層の未対応。 …ナニヲイッテイルノカヨクワカラナイナー

[decobisu]

なるほど

[daybeforeyesterday]

うーむ

[nmcli]

知見が大変よい

[habarhaba]

複数拠点問題辛いよなあ。で、ChaosEngineering。ちなみに原文が凄い良かったので読んでたけど、訳の"cross-country"は国をまたぐではなくて横断する"coast-to-coast"の意味のような気がする。

[manaten]

学びしかない…

[shikiarai]

うーわ。数分間メンテナンスしまーすとか言えればこんな事にならなかったのでは……無理だろうけど

[fujiriko59]

アメリカの西と東とでスプリットブレインとかスケールがでかいな

[Iridium]

大容量の転送がそもそも発生しないアーキテクチャにできないかなー。運用しながらロック範囲を減らしていって少しずつ同期して復旧とかできないだろうか

[ebo-c]

大陸規模スプリットブレイン？とざっくり言ってよいものか。ガイバーのアプトム思い出した

[yuzumikan15]

そういえば何でメンテ画面にしなかったんだろう？

[viperbjpn]

頑張って組んだ冗長構成がエグいことになったってこと？

[takatoshiono]

むしろ1日で復旧できるのすごい

[letitride]

先にスイッチオーバーしてからネットワーク機器交換したら防げたのかね

[dowhile]

ビッグカンパニーに買われてたるんどるんとちゃうか

[hundret]

データベースの不整合解消に時間：GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった - ＠IT

[iwanofsky]

うむ

[spade77]

そんな話なんでもいいから。Askaさんの事件の話をしようぜ！

[rrringress]

障害後の対応が良いと心象が変わりますね

[Makots]

Chaos Engineering、やっていくぞ宣言だ

[nn0]

レプリケーション遅延から大事故に…！完全復旧だと思ってたけど、954の書き込みは検討中かー。