ANAシステム障害の原因判明、シスコ製スイッチの「世界初のバグ」でDBサーバーがダウン
同期処理が失敗した原因は、4台をつなぐスイッチの不具合。具体的には、スイッチが故障状態であるにもかからず、故障を知らせる「故障シグナル」を発信しなかった。国内線システムは故障シグナルを検知するとスイッチを予備機に切り替えるが、今回はその機能そのものを作動できなかった。 スイッチは完全に停止したわけではなく、「不安定ながらも動作していたようだ」（同）。そのため、DBサーバー間の同期は順次失敗し、停止していったと見られる。 ANA広報によると、スイッチは米シスコシステムズ製「Catalyst 4948E」という。「2010年6月の発売開始以降、世界で4万3000台、うち日本で8700台を販売しているが、今回の不具合は初めての事象と聞いている」（ANA広報）。なぜ「故障シグナル」が発信できなかったかは分かっていない。 1台での縮退運転を決断 4台の完全停止から37分後、ANAは1台のDBサーバー
メールサーバからメールが送信されない (1/4)
ひと口に「メールが送信できない」といっても、それだけでは漠然としすぎていて何が問題なのかを把握できない。メールクライアントソフトの設定ミスかもしれないし、経路にあるスイッチが故障したのかもしれない。まずは問題が発生している場所を絞り込もう。 「メールが送信できない」とはどういうこと？ メールが送信できないというトラブルが生じた場合、まずは、いずれかのメールサーバからエラーメールが返送されていたり、メールサーバのメールキューに未送信メールが溜まっていることを確認する。これが確認できれば、クライアントとメールサーバ間の通信に問題はないと考えられる。 ここではメールサーバから先に問題が発生している場合に限定して、トラブルとその対応を説明する。 メールサーバの配置と配送の設定 ネットワークの構成や運用ポリシーによっていろいろなメールサーバの配置形態がある。もっとも単純な形態は、1台のメールサーバが
/.Jに聞け：今までに経験した、馬鹿らしい障害原因は？ | スラド IT
ストーリー by headless 2011年09月17日 14時42分 ほぼ編集が終わっているストーリーをリセット。今日は2回目。 部門より LARTHの日記で知ったのだが、「アクセスカウンターの表示件数を越えるアクセスがあったため」に岡山県総合防災情報システムが閲覧不能になったそうだ。 アクセスカウンターは5桁ということで、10万を超えるアクセスがあった場合ページが表示できなくなっていたそうだ。非常に原因はばかばかしいものではあるが、だからこそ意外に見落とされやすいバグかもしれない。/.J読者にはシステム開発に携わる人が多いとは思うが、今まで経験した障害の中で、「原因がばかばかしかった障害」はあるだろうか。公開できる範囲でお教え頂きたい。
ヨドバシカメラのもうひとつの失敗 - なぷさく
参照：ヨドバシドットコムのリニューアル失敗から学ぶべきたったひとつのこと大規模なサイトとなるとフル機能のシステムを事前にテストするのは難しい。確かに、スクリプトキディ御用達のDoSツールと化したabとか、微妙に重いJMeterとかをちょろっと回せばそれなりの単体テストはできるし、東陽テクニカに頭下げてavalanche借りてくれば、猛り狂った軍馬のごときパワーを誇る QuadCoreXeonサーバ数十台を完膚なきまでに沈黙させ、泣きべそをかいてお漏らししてリブートしちゃうような負荷テストもわりと簡単にできる。でもいくらテストをしても洗い出せず、実際にサービスインして初めてわかる問題もある。例えば、特定条件でパフォーマンスが低下するといった場合の切り分けは非常に難しい。バグだろ？って問い詰めても仕様です、って返ってきたり。GCのタイミングがどうのとかセマフォが何たらとかいわれても知るかと。*
ネットワーク側から見たヨドバシカメラ問題 - なぷさく
ヨドバシカメラのサイトがリニューアルに失敗してレスポンスが著しく低下している。ただでさえ重いところに、「ほらほらみてみて、重くなってるよ！見に行ってみてよ」なんてGIGAZINEが煽ったり、yahooニュースに飛び火したりしてさらにリクエストが増えて、瀕死の重病人いよいよまさに往生せんとす、といった雰囲気である。構築した会社は今頃針のむしろだろうし、ヨドバシ側の担当者もきっと現場からは「使い物にならんぞ！」と突き上げを食らい、上からは「なんでこんなところに依頼したんだ！」と怒られて社内キャリアはぶっ吹っ飛んだだろうし、まあ他人事ながら同情申し上げる。すでにあちこちで、CMSが腐ってるとか構築会社の社長がすごいとかいろいろ言われているが、基本に立ち返って外側から見える現象をひとつずつチェックしてみよう。1. DNSは問題なし大阪吹田にあるどっかの会社のサーバでDNS引いてみた。 $ dig
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
