Amazon Web Servicesの障害はなぜ起こったのか アマゾンが詳細な経緯と対策を発表 − ＠IT

2011/04/30 米Amazon Web Services（AWS）は米国時間4月29日午後、同社のブロックストレージサービス「Amazon Elastic Block Store（EBS）」および、リレーショナルデータベースサービスの「Amazon Relational Database Service（RDS）」における約4日間にわたる障害につき、詳細な経過報告と対策を発表した。これによると、障害のきっかけはネットワークの構成変更作業におけるミスだった。同社は今回の障害が複数のAvailability Zone（AZ）に影響を与えた理由も説明した。 AWSが発表した今回の障害に関する説明（英語） EBSはAWSの仮想サーバサービスであるAmazon EC2のインスタンスから、仮想ディスクとして使える永続ストレージサービス。実態としてはディスクを備えたノード（コンピュータ）の集合体を

[kana321]

　障害のきっかけはネットワークの構成変更作業におけるミスだった

[siso3]

『しかし今回は、同一リージョンの全AZを対象に提供されているEBSコントロールプレーンが応答不能となったことで、複数のAZにEBSへのアクセス不能状態が広がったことになる。』

[rochefort]

コントロ

[kennak]

ネットワーク拡張のための作業でヒューマンエラー 　今回の障害は、「US EAST 1」リージョン内の特定AZで発生した（他のAZへの影響については後述する）。このAZでは、21日にメインネットワークの拡張作業が行われた。この

[rdfrk]

すごく丁寧に書かれてると思うんだけど、スキル不足で頭にすんなり入ってこない。もうちょっとインフラ系の知見も深めないとなぁ・・・ Reading: Amazon Web Servicesの障害はなぜ起こったのか － ＠IT

[deep_one]

意外と基本設計がよくないのかもしれないなぁ。ノウハウが世界的に足りないのか？

[yasyas]

RIghtScaleとか使って複数のXaaSベンダーを併用する使い方が増えるのかな。

[kabiy]

Amazon Web Servicesの障害はなぜ起こったのか アマゾンが詳細な経緯と対策を発表 − ＠IT

[wasai]

ちゃんと読んでおこう

[diveintounlimit]

『2経路のメインネットワークに流れているトラフィックを1経路に集約しようとして、誤って予備ネットワークに接続してしまった』ネットワークはこういう人為ミス起因のトラブルがあるから怖いねぇ。

[ming_mina]

ネットワーク絡みのヒューマンエラーは身に覚えがあるからな…恐ろしいこっちゃ

[mmasuda]

わはー。

[inforeg]

たまのヒューマン☆エラーはスパイスかもね

[shibacow]

ネットワーク接続ミスと言う人的なエラーが、EBSレプリカ作成モードの爆発と言う別のエラーを誘発する。JRで、一つの路線で遅れが生じると、複数の路線に伝播するのに似ている。巨大システムは似たような構造を持つ。

[koyossk]

140文字で要約できますでしょうか。 @takahiro317

[o_hiroyuki]

AWS障害

[qaz76]

『AWSがネットワークの構成ミスに気づき、ネットワーク接続を回復した際、多数のEBSノードが同時に空きスペースを探してレプリカを作成しようと試み始めた。』

[tsupo]

「メインネットワークのために冗長接続されている2台のルータを流れるトラフィックを、1台に集約しようとして、誤って予備ネットワークに接続してしまった」

[syanbi]

Zone別にして耐障害性上げていたはずだけどEBS側で複数Zone対象のサービスを立ち上げていたために障害が発生していないZoneへも影響が出た..か。EC2使ったことないから想像するしかねえな..

[michael-unltd]

障害

[tamu222i]

EBSも冗長化されてたのかー。つーか、報告内容がスゲーな

[airj12]

図解が欲しい。

[meets623]

Amazon Web Servicesの障害はなぜ起こったのか －

[georgew]

ネットワーク拡張のための作業でヒューマンエラー > わずかだがデータ消失もあった模様。

[lettas0726]

イロウル的なのを想像した

[creaism]

RT @hatebu: Amazon Web Servicesの障害はなぜ起こったのか − ＠IT (56 users)

[yamashyjpx]

結局、人為的ミスという・・・。

[kamei_rio]

詳細はイマイチ理解できてないけどヒューマンエラーらしい

[betelgeuse]

バックアップを取れ！お前もバックアップを取れ！そうだ全員がバックアップだ！電話が鳴ってますけど・・・いいからバックアップだ！

[otchy210]

単純な仕組みなら狭い範囲で収まったのに、高度な自動化のため、各ノードが「自己」最適を図った結果、被害が拡大したように思える。今後検討されるべきは「全体」最適をいかに自動化するか、という事かな？