クラスタのノード欠損を復旧しようとしてクラスタを丸ごと落とした話 - Qiita

これは、私が若…くはないけどピカピカのAWS1年生だった、数年前のお話です。 何をやらかしたのか やらかし前の状態 本番運用しているWebアプリケーションの裏側に、EC2インスタンス3台でクラスタを組んだ某データストア製品を使用していました。データはクラスタ内でレプリケーションされており、1台がダウンしただけならクラスタは稼働を継続できます。2台がダウンするとクラスタ全体が機能しなくなります。 ある日、3台のうち1台で障害が発生してインスタンスへ疎通できない状態になりました。この時点ではクラスタは正常に応答しており、あと1台ダウンしない限りはサービスに影響が出ない状態でした。 まず、ダウンしてしまったインスタンスを再起動して復旧させようとしました。ところがEC2マネジメントコンソールから再起動、停止を選択しても障害中のインスタンスは反応しません。そして私は間違いを犯します。 やらかしたこと

[at_yasu]

「障害発生します」笑い事じゃないけどワラタｗｗｗこんなの Slack に流れてきたら笑うｗｗ

[fai_fx]

AWSに限らず、「こういう障害が発生したら、こう対応する。」と手順書を事前に残すのは大事。障害が起きると、だいたいパニックってしまうので、冷静に考えること自体難しい…

[cl-gaku]

“やばくありません。1台倒れても大丈夫なための冗長構成です。焦って本番を弄り回すほうがやばいのです。”これに気付けるようになったら脱初級者だよなあ。本当に大事

[hatest]

A：あせって W：ワーッとやって S：障害

[rryu]

再起動がデフォなのは書き込まれ続けるディスクのスナップショットが正常に取れる訳がないからで、一瞬でも止まってはいけないサーバのスナップショットを取ろうとしてはいけないのである…

[kuzumimizuku]

「障害発生します」さすがに笑う(；´Д｀)/同じ経験がなければ、手順のマニュアル化も行われず、訓練をやったとしても真面目に行われず、結果、冷静ではない自己判断でやらかす、というのは災害全般で言える。

[tohokuaiki]

「障害発生します」エヴァンゲリオンの「衝撃波、来ます」みたいでカッコいい。

[fukken]

そこまで急ぐ状態ではないわけだが、焦ってると視野が狭くなるよなぁ

[n_231]

障害発生します、は絶対笑うでしょww。緊急障害速報wwwwww

[miron_mikan]

ここ最近のやらかしちゃったアドベントカレンダーの中では反省が一番しっかりしてて読後の気分が良かった/今年の記事は全体的に雑なのが多いし再発しそうな記事が多くて不安だった

[mapk0y]

「思いつきで適当な操作をするな。」本当にそのとおり。心に刻みたい。でも、たまにうまく行っちゃうから厄介

[dakahiiiii]

クラウドになってから何故だか「クラウドだから大丈夫」との過信によりオンプレより運用が雑になってしょうもない障害が起きる現象に名前を付けたい。

[wushi]

事象発生から仮復旧、分析、是正まですべて一人でやってる感が漂っていて大変そう

[kz78]

人間は準備していないことに完璧に対応できると思ってはいけない。

[takyam1213]

AWSで障害起こすとコンソール触るの怖くなるよね

[greenbow]

これに尽きる。でもパニックになるよね。やはり場数を踏むしか無いんだろうか。 “やばくありません。1台倒れても大丈夫なための冗長構成です。焦って本番を弄り回すほうがやばいのです。”

[send]

飲んでる最中にこれ読んで、「障害発生します」「？」で爆笑してる

[morimarii]

障害で一番大事なのは調査や復旧作業で二次災害を出さないことだからなあ

[prograti]

"[再起動しない] を選択した場合は、作成されたイメージのファイルシステムの整合性は保証されません。 " https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/creating-an-ami-ebs.html

[delphinus35]

Slack書き込み見て思わず吹き出してしまった

[gachapining]

障害発生します！各員衝撃に備えろ！！

[odakaho]

“正常稼働中インスタンスのディスクを元に新たなインスタンスを起動しようとしました。そしてAWS EC2コンソールで稼働中のインスタンスを選択して、 アクション > イメージ > イメージの作成 を実施”

[quabbin]

「障害が発生します」のパワーワード感ｗｗ

[kamocyc]

本番は、いじるな、と

[rgfx]

ｧ"ｰ

[oniipoooon]

>障害発生します　こんなの休日の午前に流れて来たらまず真っ先に笑うしかないな

[password1234]

掴まれ！障害発生するぞ！

[diabah_blue]

まず落ち着くことが大事。

[stealthinu]

あー、でもこれはわかるな…　あと障害出たときに急いで対処しようとして傷口広げるのもあるあるだよね…

[lont_in]

例題みたいな分かりやすい事例。障害許容台数が1台の時点で想定されるクラスタ障害パターンは限定できるはずなので、設計時に障害時の手順を明文化しておいて欲しいよね

[manFromTomorrow]

“焦った状態で正しく実施できる自信がなかったので、正常稼働中インスタンスのディスクを元に新たなインスタンスを起動しようとしました”　→「まずはキーマンに報告して何もしない」が正解なんだよなあ・・・

[remcat]

全然知らん分野だけど、もう1台は必要なのでは? >インスタンス3台でクラスタを組んだ >1台がダウンしただけならクラスタは稼働を継続 >2台がダウンするとクラスタ全体が機能しなくなります

[punychan]

これAWSのUIが悪くない？「再起動する[レ]」にしておくべきかと。あとなんでイメージ作成したら再起動するのがデフォなの？／ああ、イメージ作成後に再起動じゃなくて、イメージ作成前にシャットダウンということね。