HDD交換ミス＆バグで4時間ダウンしてしまう「ひかり電話」 ― ＠IT

2007/05/24 NTT東日本、西日本の光IP電話サービス「ひかり電話」が東西間で不通になった5月23日の障害の原因が判明した。障害のきっかけは東西間の通話を中継するサーバのハードディスクドライブの交換。人的ミスとソフトウェアのバグが約4時間の不通を引き起こした。 作業を担当したNTT-MEの担当者が、中継サーバのHDDを交換したのは5月21日深夜から5月22日未明。故障ではなく予防的措置として交換した。その際、作業者が間違ったコマンドパラメータを設定したが、サーバのフェイルセーフ機能が不十分で、誤ったパラメータを受け付けてしまった。さらに、誤ったパラメータでHDDのデータが破壊されるバグがソフトウェアにあり、HDDのデータが一部破壊されてしまった。 この破壊されたデータが23日午前6時25分にサーバのキャッシュメモリに読み出され、サーバの処理が停止。東西間で不通状態になった。本番サー

[anhelo]

予防でHDD交換→誤コマンド設定→サーバ見抜けず受付→バグでデータ破壊→サーバ停止→不通→代替はハード障害時のみの設定で×→遠隔リブートもバグで失敗→直接電源入直し×→バックアップソフト入直し後再起動で復

[damenews]

なしてこんなゆるいことやってんの?

[tsupo]

「予防的措置」としてのハードディスク交換時の入力ミスが原因 / フェイルセーフ機能が不十分 / 代替サーバとHDDもハードウェアの障害時に切り替わるように設定、今回のソフトウェアの障害では機能しなかった

[Sinraptor]

「HDD交換時の作業内容のチェック強化などで再発防止」、甘いな。チェックリストの肥大化を招くだけ。根本から見直しをかけなければ２回目のダウンは防げないよ。