米国東部（バージニア北部、US-EAST-1）リージョンで発生した Amazon S3 サービス障害について

日本時間3月1日未明に米国東部（バージニア北部、US-EAST-1）リージョンにおいて発生いたしましたサービス障害に関する追加情報についてお伝えいたします。 この度、Amazon Simple Storage Service (S3) チームが S3 の請求システムの処理に通常よりも時間がかかるという問題のデバッグを進めておりました。 その過程におきまして、9:37AM PST(日本時間 2:37AM)に、適切に権限を与えられたS3チームメンバーが確立された手順に従い、S3 の請求システムが利用するS3サブシステムを構成する少数のサーバを削除するコマンドを実行いたしましたが、その際、コマンドへの入力が不適切であったため、想定よりも多くのサーバが削除される結果となりました。 今回誤って削除されたサーバは２つのS3サブシステムに関わるもので、１つは、Index（インデックス） サブシステムであ

[kkamegawa]

これをやってしまった人のtwitterプロフィールが「professional cloud stopper」とかに書き換えられているんだろうか

[nekoruri]

日常作業は自動化されているだろうし、デバッグがきっかけというのは納得

[mkusunok]

コマンドを間違えて急所となるサブシステムを止めてしまったのか

[snowlong]

“Unfortunately, one of the inputs to the command was entered incorrectly and a larger set of servers was removed than intended. ”

[halfrack]

MogileFS のオペレーションをするときに当てはめながら読み背筋がゾクッとし

[stealthinu]

なんと… S3の障害はオペミスが原因だったらしい。amazonですらこんなことが起きるのか。

[ryuzee]

あるある話すぎる

[isidai]

先日のS3の障害レポート。とても良い。

[avalon1982]

課金システムの問題をデバッグしていて、誤って意図したよりも多くのサーバーをオフラインで使用していた。そこからのドミノ。