Amazonクラウド先週のシステム障害、原因は電源トラブル。二重三重の防護策が次々と倒れる

先週6月14日に発生したAmazon Web Servicesの米国東部リージョンでのシステム障害は、HerokuやPinterestなど大手のサービスにも影響を与えたようです。その障害報告が、Service Health Dashboardで公開されています（現在はRSS内の記述として読めます）。 障害は米国東部リージョンでの特定のアベイラビリティゾーンで発生したもの。報告によると、プライマリの電源ケーブルのトラブルをきっかけにバックアップとしての発電機へ移行したものの、そこでもまたトラブルが発生し、二重、三重の防護策が次々に倒れていったことが示されています。 Amazonクラウドの多重の防護策の一端が分かると共に、これだけバックアップ策が用意されていても、わずかなトラブルによって防護策が倒れることの教訓を得ることができます。 一方で、障害は特定のアベイラビリティゾーン内だったため、マル

[Falky]

バックアップ電源のファンが不調だったってのは、普段から稼働しているシステムならば起こらなかったはず。「非常時だけ使う物」の保守ってすごく大変。こんなとこにも日経が言う「スマートデザイン」の思想が必要？

[caq]

この話のキモって、実はリカバリ速度だよね。1時間22分後には副系統電源ファンの修理が終わって、その30分後に復旧。(Niftyクラウドは分岐盤交換に7時間、その2時間40分後に復旧) 実力は、やらかした後の復旧で出る。

[spacefrontier]

現用系から待機系への切り替えのリスクは、待機系が果たして正常かが切り替わるまで分かりにくいこと。現用系を冗長化するシステムでは逆に寿命が同じ時期になるという問題が。

[REV]

電源周りはなあ。　/ コールドバックアップ機材は寝起きがなあ。

[John_Kawanishi]

AmazonのDCにもコンセント抜く「掃除のおばさん」がいるのかとおもった（焦

[mrkn]

どこぞの原発の話を思い出した。

[zakinco]

なんか原発っぽいｗ

[l-liroki]

途中から福一の話に見えた

[kuronama2404]

先週もAmazon Cloud落ちてPinterstとかに影響が出てたのか…。

[namisk]

待機系が正常かどうかは監視されてないことが多い印象。AmazonWSですら、いざ切り替わったときに使えなかった、というのがあったと。

[inajyun]

これだけ冗長化されたシステムが障害を受けるとは。

[estragon]

3重に冗長化された電源が次々に死んだとのこと。事象・対応をオープンにしていることが好印象。 / Amazonクラウド先週のシステム障害、原因は電源トラブル。二重三重の防護策が次々と倒れる

[legnum]

待機系ってフェイルオーバー部分含めてどうやって動確テストやってくのがベストなんだろ。ファーストサーバはそこら辺まったくノータッチだったのか

[kimunny]

AWSが落ちてた件。電源がやられると全部イカれる。国内でも事例があったね。。

[nnnnnhisakun]

物理システムが関係する予備系は定期的に動作させておく必要があるよね。インフラ企業のように四半期ごとの単独運転・年1回の切り替え試験をやるのは難しいかもしれないけど。

[neco22b]

へー電源トラブルなのかー。今のところ、電源障害は体験したこと無いなー。空調のトラブルは何度か経験したけど。空調も二重化して欲しい…

[tukanana]

案外電源トラブルは馬鹿にできない。

[Gesaku_G]

こういうのって難しいよな。

[unarist]

予備電源が使えなかったって某原発みたいだなーと思ったらブコメでさんざん言われてた

[cyborgninja]

amazonクラウドが死んだ件 めも：Amazonクラウド先週のシステム障害、原因は電源トラブル。二重三重の防護策が次々と倒れる － Publickey

[chihhi1105]

AWSですらこれだから、最近参入してきたMSとかオラクルその他国内ベンダで今後大量に障害報告が上がってくることは想像に難くない

[ysync]

「マルチアベイラビリティゾーンの重要性」結果的にうまく宣伝に結びつけた感じ？／安価な他社をメインにする場合、従量制のAWSを予備でアイドルさせとくのとか便利かね？

[raitu]

電源喪失問題はどこも同じ破綻をするのね。電源喪失→バックアップ発電機に移行するもオーバーヒート→セカンダリバックアップ電源に移行するも設定がミスっていた、みたいな。ほぼ福一原発事故をなぞってる。

[masayuki5160]

こわ～(￣▽￣)

[airj12]

普段休んでる非常時用装置が急に起こされて異常発生ってのはよくある話だけど怖いな

[sgtakeru]

3重の対策をしているのにそれらがすべてダメだった。安定運用させるのは難しい

[nidstyle3]

運用チームは慌てたやろうなぁ。人がやる事に絶対はないか。

[iR3]

ほ〜

[quwachy]

原発じゃあるまいし、全電源喪失なんて事態対応できなくても仕方ないでしょ。そこまでやってたら価格競争力がなくなる

[you-dai]

クラウド（笑）

[anigoka]

ジュラシックパークにしろ、福一にしろ、現実さんはどんなに人間が防護策を講じてもそれを突破するｽﾊﾟﾊｶｰだということを忘れるとバベるから注意

[onetohihi]

へぇーー。