ANAシステム障害の原因判明、シスコ製スイッチの「世界初のバグ」でDBサーバーがダウン

同期処理が失敗した原因は、4台をつなぐスイッチの不具合。具体的には、スイッチが故障状態であるにもかからず、故障を知らせる「故障シグナル」を発信しなかった。国内線システムは故障シグナルを検知するとスイッチを予備機に切り替えるが、今回はその機能そのものを作動できなかった。 スイッチは完全に停止したわけではなく、「不安定ながらも動作していたようだ」（同）。そのため、DBサーバー間の同期は順次失敗し、停止していったと見られる。 ANA広報によると、スイッチは米シスコシステムズ製「Catalyst 4948E」という。「2010年6月の発売開始以降、世界で4万3000台、うち日本で8700台を販売しているが、今回の不具合は初めての事象と聞いている」（ANA広報）。なぜ「故障シグナル」が発信できなかったかは分かっていない。 1台での縮退運転を決断 4台の完全停止から37分後、ANAは1台のDBサーバー

[K-Ono]

よくもまあこの短時間で切り分けできて公表までもってけたよな。そのへんはすごいわ。

[masahiror]

前回もスイッチ→http://itpro.nikkeibp.co.jp/article/NEWS/20071029/285786/ 前々回はルータ→http://itpro.nikkeibp.co.jp/free/NCC/NEWS/20030324/6/ いくらサーバを強固にしても毎回スイッチ関連で悩まされるANA

[kbt3]

ミッションクリティカルシステムをお持ちの皆様方にはぜひここに着目していただきたい＞「本番環境と同等の作りにしてあるテスト環境にスイッチを持ち込んでテスト」　頼むからケチらず揃えてください…

[jtw]

知ってるか？どんなバグでも最初は世界初なんだぜ。。。

[REV]

日本で米国製品が故障→「仕様です」　米国で日本製品が故障→「停止したビジネスの逸失利益と時価総額減少分と、それを倍した懲罰払え」　って印象が

[six13]

ハードの機能が完全に死んでない状態、ってのが怖いんだよなあと再認識したケース。製品が仕様通りに動かないことも見越すのがシステム屋の腕の見せ所だが、ANAの場合はそれよりなによりBCPが素晴らしかったと思う。

[tengo1985]

対応としては素晴らしいように見えるね。

[megazalrock]

スイッチに塩とか撒いておいたほうがいいんじゃない（やめて下さい）

[kuenishi]

s/世界初/未報告/

[oldguys]

さすがの冗長性、可用性。ほんでテスト環境も双子で用意していて即検証、原因究明、縮退運転の決行とか。システム構成として理想的じゃないの。

[palmyra]

スイッチのバグであんなことになってしまうとは恐ろしい。。そりゃ半導体ベンダーへの要求も厳しくなるな、、

[estragon]

Ciscoのスイッチで、不幸中の幸いだったのでは。これで、マイナーなメーカの製品だったら、ほら見たことか的な袋叩きにあいそう

[rytich]

“システムは必ず止まるという前提で”

[munenaga]

ANAシステム障害の原因判明、シスコ製スイッチの「世界初のバグ」でDBサーバーがダウン

[natu3kan]

冗長スイッチ関連?：(http://int128.hatenablog.com/entry/20110107/1294402397) (http://software.fujitsu.com/jp/manual/manualfiles/m140021/j2uz5303/08z200/j5303-00-03-02-01.html)（http://www.oracle.com/technetwork/jp/products/clusterware/interconnect-vlan-06072012-1657506-ja.pdf）

[peppers_white]

アナログでも機構が複雑なものだと同様の問題が出ないとは限らんから、両方積むのが普通よね

[kenjiro_n]

id:entry:283935969 に識者の発言がまとめられている。

[natroun]

スイッチが死んで、冗長化してたのに（スイッチのバグで）機能せず、徐々にDBサーバがダウン、という経緯だったらしい。泣けすぎる。こんなのどうしようもなくない？

[adsty]

スイッチが完全に停止したわけではなく、不安定ながらも動作していたのが、事態悪化の一因。

[natsutan]

世界初か・・・・

[mitsuru888]

Ciscoが絶対安全安心というのは幻想　それでも大手SIerはCisco使うんだろうな

[Kukri]

うちの代理店だとスイッチの不完全な故障なんか1週間かけても見抜けそうにないな

[deloreanmc12]

スイッチが複雑になればなるほどこういう障害増えそ。昔みたいにバカハブに回帰しよう

[nakamura195]

"信頼性を高める努力を続ける一方で、システムは必ず止まるという前提で事業継続性をどうデザインするかが新たな課題になりそうだ。"

[ewiad420]

まあ、よくある原因ではある。けど、規模が大きかったな…。とりあえず一歩ずつでも進めるしかない。関係者はお疲れ様でした。

[bn2islander]

スイッチのバグじゃ仕方ないよねと思うんだけど、なんで全日空にだけ世界でもたぐいまれなるバグが何度も起きるんだろ（何か潜んでいるんじゃないの？）

[qaz76]

Ciscoでも固有バージョンのバグ踏む事ならあるあると言えばあるある。障害系テストの漏れと言えば漏れ。でもOSバージョンアップ後だとしたら、正常系しかやってないかも

[Qwerty401]

シスコの初事例

[wushi]

中継装置の集積回路とか歯にものが挟まったような言い方してると思ったら、やっぱりCiscoだった

[blackapple]

おそらくだけど、4948がスイッチングできない状態になったけどリンクダウンはしていなかったんだと思う。なので、副系nicに切り替わらず.... 故障シグナルってのは謎だが、恐らくsnmp-trapではないはず。

[AKANE_Daigo]

またしても日本ユニシスは無罪だったってことかな

[kowagari]

満点に近い事後対応

[yuka7rin12]

シスコ＜我々を上手く扱えない日本人がわるいｷﾘｯ

[arajin]

「スイッチが故障状態であるにもかからず、故障を知らせる「故障シグナル」を発信しなかった。」「旧システム時代の2007年5月に発生した大規模なシステム障害時もシスコのスイッチ不具合が原因だった」

[amori]

人命がかかるミッションクリティカルシステムでは装置故障判定をその装置のシグナルに「のみ」依存することは御法度である。対応は妥当だけど、いい加減スイッチ関係のFTA,FMECAを根本からやり直したほうがいいでは。

[hhungry]

自分のプログラムでも最初に出たバグは世界初を名乗っていいですか？

[raitu]

ANAのトラブル対応は素晴らしいのだが、前回もシスコのスイッチトラブルだったことを考えるとシスコ何やってるのって感じはする。シスコ以外の選択肢がこういうとき余り無いのがなあ…

[betelgeuse]

未報告バグ 「４台のデータベース（DB）サーバーをつなぐ米シスコシステムズ製イーサネットスイッチの故障」「Catalyst 4948E」「「故障シグナル」を発信しなかった」

[shag]

たいへんそうだ。

[ikd9684]

問題発生後の対応が素晴らしい。こんなに早く調査から対応方針決定まで行けるもんなんだね。