Dropboxが2日以上ダウン。原因はメンテナンス用スクリプトのミス

オンラインストレージサービスのDropboxが、米国時間1月10日の午後から約2日間にわたって障害を引き起こしていました。直接の原因は、OSをバージョンアップするために実行したメンテナンス用スクリプトにバグがあったことです。 障害の状況を時系列で追いつつ、原因についての報告を見てみましょう。 約48時間続いた復旧作業 障害の状況報告については、Dropbox Tech Blogの「Dropbox Status Update」でまとめられています。ポイントごとに引用し、訳しました。 障害発生が認識されたのは、米太平洋時間の午後6時40分です。後になって分かるのですが、この日の5時半に障害の原因となったメンテナンスが始まっています。それから1時間後にDropboxのダウンが発覚します。 1/10 at 6:40pm PT: We are aware that the Dropbox site

[ot2sy39]

これだけ大規模な停止を起こしてデータをまったく失わなかったのは、長期的にはプラスの評判になるんじゃないか。

[vivit_jc]

こういうの、他人ごとながら胃が痛い

[ayagane]

ファーストサーバみたいなオチだったな。データは消えてないから良かったけども。

[tomymot]

やっぱ単一サービスに依存するのはリスク高いな。自分は無駄にbitcasaとpogoplugとzoolz使ってるけど、こういう時考えると一つに絞れない

[kamei_rio]

攻撃を受けてたって話は無しか

[raitu]

いつかクラウドの限界が原発事故のように発生するとは思っとる。ファーストサーバレベルでなく、もっと世界的に甚大に。

[kuwalab]

“バグによりアクティブなサーバに対してもアップデート作業を開始してしまったこと”聞いたことがあるような。。Dropboxくらいのところでもこのレベルのミスをするのかと思うとちょっと怖い。

[vamview]

大問題にならなかった理由として、ローカルに同期する形式のおかげで、新規登録はできなくても従来のファイルはそのまま使えていたという点が大きそう。 Web版のみ利用してた人は乙。

[adsty]

メンテナンス上のミスがあったがデータ消去の被害は無し。

[Nean]

国内のサービスだとここまでの説明を目にした記憶がないような。もちろん、こちらの観察不足もありそうだけれど。

[tarchan]

＞バイナリログからの復旧を並列化するツールを作った。これにより大規模なMySQLバックアップからの素早い復旧を可能にする。

[htgc]

結構大規模だな。。

[tyru]

今後の対策が流石だ

[datemakio]

落ちる箱

[f_oggy]

メンテミスでダウンか。耳が痛い。

[noradaiko]

あのにますたんの嘘つき！ - Dropboxが2日以上ダウン。原因はメンテナンス用スクリプトのミス － Publickey

[rryu]

MySQLのデータをリストアするのに2日かかるとは……

[abracadabra321]

過度にクラウド一辺倒にすると、いずれ致命傷を負う事態になることは結構指摘されてるよ。何事もバランス。

[radiocat]

ログインできない致命的な不具合を何の説明もせずにずっと放置している某サービスに比べるとだいぶちゃんとしている

[hidex7777]

数が増えるとこうなるのかな。規模がわからなくて想像が及ばない。

[knakamura1977]

恐ろしやー。

[iR3]

ふむ２日以上！

[abd3580]

焦ったよ！

[restartr]

メンテナンススクリプトがどんなチェックしてたのか、chef/puppet等のバグなのか、いまいち詳細がはっきりしないのですが…詳細な説明が公開されるのを望みます。

[heavenshell]

うぉー胃が痛くなる

[tetzl]

胃がしくしくするけど、サービス停止したものの全体のロバストさというか根本解決しようとする感じがむしろ好感触な気がする。

[tiadeen2]

そういえば、11日に携帯のカメラアップロードが失敗して手動でdropboxにアプしようとしたけど失敗したのでした。そうか、これでか…

[mybookma]

こんなことがあるんですね。

[solidstatesociety]

対策いいね。おつかれさまです。

[timetrain]

こええ……出張と重なってたら死んでいた

[lag-o]

マジでか！データ消えなくてよかった！

[Layzie]

障害のリカバリするツールをOSSにするのすげーな

[tetsuya_m]

そういえば週末iPhoneのアプリでDropbox開くとエラーが出てた。PCからアクセスすると大丈夫だったのでiPhone側の問題かと思ってたけど障害だったのか。

[kana321]

直接の原因は、OSをバージョンアップするために実行したメンテナンス用スクリプトにバグがあったことです。

[pons_superus]

気づかなかった。日本は連休中でまだマシだったのかな。

[lacia]

しっかり障害原因と対策を書いているのが好感触

[Chisei]

更新対象のホストを絞り込めなかったのだろうか。