GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット － Publickey

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時

[odakaho]

「もう今日は自分がこれ以上sudoコマンドを実行しないほうがいいだろう」 冷静で優秀な人だと思う。挽回しようとして状況悪化させる人が多い。

[verda]

本当に必要なときにないのがバックアップ

[hokkey]

避難訓練みたいに、数ヶ月に一度練習するべきなんだろうな…。

[htnmiki]

こんなときでもちゃんと寝るのホワイトだ

[localnavi]

YP氏が盛大にやらかしたのは間違いないが、それ以前にバックアップがまったく機能してなかったのはヒドすぎる。たまたま6時間前にバックアップを取ってたのは不幸中の幸いだが、頭と胃が痛みで爆発しそう。

[kabukawa]

対応中、とメッセージ表示されるより、何をしているのか見せる方が安心できる、と思うのは自分がエンジニアだからだろうか。なんか大変な「場」を「共有」するのって難しいけど良いなって思った。

[auient]

障害の回復試験は重要だと教えてくれる。/ サービスに限らず家庭でのバックアップでも。

[karia]

復旧の様子ストリーミング配信すげえ

[tetsuzin]

プライマリ「もしかして」セカンダリ「わたしたち」

[luccafort]

このリカバリをYouTubeで残したというのは大いなる財産だな。 この件から学ぶべきは緊急時こそ適切に休め、バックアップは定期的にチェックしろ、悲観的になるなという3点に尽きる気がする。

[mizdra]

伝説の回。もう5年経ったのか…

[poad1010]

またやらかしたのかと思ったら、2017年の記事だった。

[sasasin_net]

いやーこれ。久々に読んだ。ここから生還する自信は今でも無い

[Nyoho]

GitLab、これは素晴らしいな。「リカバリのためのデータリストアの状況をYouTubeで生放送。待ち時間にエンジニアがユーザーの自由な質問に答えるゆるさも」

[nihonbuson]

"YP氏は、もう今日は自分がこれ以上sudoコマンドを実行しないほうがいいだろうと言って、リストア作業をJNに依頼。" / この判断ってすごく大事。 自分で何とかすると悪化したりするので、しないという判断は良いこと。

[foobarchocobo]

バックアップデータそれぞれが、全く整合性チェックどころか実体さえ、確認してなかったということだよね？ どう褒めていいのか分からないや。

[kita-tuba]

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット

[t_osawa]

“YP氏は、もう今日は自分がこれ以上sudoコマンドを実行しないほうがいいだろうと言って、リストア作業をJNに依頼。”

[satzz]

“リカバリ作業を見守る3人のGitLab.comエンジニアはいずれも自宅からリモートで操作。ストリーミングを見ていると、ときおり子供の声らしきものが聞こえます”

[homarara]

ギガバイトのデータベースだと、バックアップ取る時間と退避スペースを確保するのも大変だから、「作業前にフルバックアップ取っておこう」というのができない環境もままあるんだよね。当然、しくじったら即死。

[wdr_s]

考えただけで胃が傷むけど、かなり冷静な対応だったんだなぁ。

[kei_0000]

失敗は隠さない / 無理に一人で挽回しようとしない / 復旧作業を公開 / 日頃からバックアップを確認 / 明日は我が身

[jitsu102]

こちらも参照 https://about.gitlab.com/2017/02/01/gitlab-dot-com-database-incident/ https://goo.gl/3g4384 https://togetter.com/li/1076845

[hbkm]

rm -rしちゃったんですか

[tamaxyo]

ダメだと思ったタイミングで手を離した決断はすごいな、多分正解だ。あと、復旧をストリーミング配信するとか、すごい時代だなぁ。自分だったら確実に手が震える

[fake-jizo]

ソースコード管理サービスを提供するGitLab.comは、1月31日23時頃（世界協定時。日本時間2月1日15時頃）、操作ミスから本番データベースのデータの大半を失い、サービスが停止するという事故を起こしました。 Tags: via Pocket

[masadream]

うわわ…

[santo]

「mistake will happen, sir」という、昔見たコントドラマのセリフを思い出した。

[ebo-c]

ユーチューバー「リカバリしてみた。」

[t-sat]

「正・副・予備・まさかの時の・こんな事も有ろうかと、全て駄目です」

[majidaru]

とてもクールだと思う

[airj12]

起きた事は起きた事として置いといて真剣にオープンにでもマイペースに対応するの素敵

[kazuya53]

自分がこれ以上触らない方が良いと判断して後を委ねたのは正しい。こういう異常事態を引き起こした中でリカバリーしようとした判断はだいたい何やっても失敗するから。

[bata64]

手に汗握る展開。sudo操作を他人に委ねたくなるYP氏の気持ちは良く分かるが、何故分かるのか思い出を辿るとうっ、頭痛が・・・。

[barlog]

落着してから見た身だけど、一連の経緯は感謝すべき事象だと思います。

[Domino-R]

これ全然アクシデントじゃないよね？　必然的に起こってる。運用管理能力が甚だ疑問。バックアップが全部ダメだったなんて「アクシデント」か？　恥ずべき事例。

[animist]

怖い

[cybergene]

オペレーターが致命的なミスを犯すのは誰もが通る道。バックアップが機能してなかったのはご愁傷様としか。

[reachout]

バックアップが全部動いてなかったというの悲惨すぎる。復旧もエンジニア向けサービスだから公開しても理解されるが、これが一般向けシステムだったらとんでもない大炎上祭り。

[rochefort]

年に一度は避難訓練みたいにリストア訓練すべきやな // 引き継ぎなしで任された会社のリポジトリバックアップ未稼働問題（sync未稼働、s3backup失敗）とダブって他人事じゃない