全銀システムの大規模障害、「真の原因」明らかに--全銀ネットとNTTデータが発表

全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障

[tach]

真の原因はどう考えてもこれじゃん。冗長化の意味が分からない程運営がバカ→「中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えた」

[getcha]

トップコメのやつは通常はじめのアイディアとして出るが、バージョン違いを混ぜて運用するリスクを考慮して普通は却下されると思う。

[yamadar]

何らかの都合で待機系も同時に入れ替えねばならないものだったのかな。そうならば冗長化がなくなるし切替前は相応のステージングテストが必要だけど、やらなかったんだな

[s_rsak]

トップコメは素人すぎやろ。冗長化している両方を更新するのは当然。片方は古い状態なんて、余計に煩雑だろ。今回の障害は処理の問題で、冗長化は片側のハードが壊れても問題ないようにするためのもので目的が違う。

[TakamoriTarou]

真の原因はテストで見つけられなかったことで、問題の拡大の原因は大丈夫だろうで切り戻せない環境でやってたことだと思いますが。これはそれらの問題の引き金にすぎない。

[findup]

報告書にはきちんと書いてある。杜撰だった面も色々ありそうではあるけど管理ガチガチになって現場の負荷は増えそう。https://www.zengin-net.jp/announcement/pdf/announcement_20231201.pdf

[cybergene]

RC17までは銀行側に設置してたけど、RC23は全銀側に設置するように変わってて、2系統別々に更新するのは銀行側のコストも考えると難しかったんだと思う。 でも、レビューもテストも足りてなかったと…

[prograti]

してなかったのね "より本番環境に近い効率的な試験実施方法として、商用で流れている実取引相当のデータを用いた疎通試験を実施します" https://www.zengin-net.jp/announcement/pdf/announcement_20231201.pdf

[inet_malic]

インフラSEだけど、冗長構成はHW障害に対応するためのもので、通常正副同時に更改する。真の原因はPDFにもある通り、業務試験のケース設定不足。障害発生してすぐに切り戻ししなかったのもサービス停止長期化の原因。

[ko2inte8cu]

「真因は何だ！」「テーブルの大きさが、、、」「そんなもの試運転で分かるだろ！真因は何だと聞いている！」「製造工程での認識が、、、」「だーかーらー、それが起きた、真因は何だということだよ！」弊社風

[deep_one]

メモリ不足が原因というのは正しかったようだ。なぜテストで気付かなかった。／コメントを見て。通常、冗長化では同じ構成の二つの機械を用意するぞ。古いのをしばらく残すのは冗長化じゃなく移行措置だな。

[kz78]

机上ですべての不具合を洗い出すのが難しいからテストがあるんですよ。

[adsty]

インデックステーブルの破損により参照する際の処理でエラーが生じた。

[nilab]

テストできてなかったのかな。「障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した」

[robokichi]

正副だの冗長化だの、東京・大阪の時点で災対ちゃうの?普通は1週間空けるやろ。

[dltlt]

報告書読んだけど：「OSのバージョンアップ」を必然的に伴うハードウェア更新が成功した後に「一つのテーブルのサイズ拡大」をやっていれば、そこはソフトウェアの更新だけになるから、切り戻しも容易だったのでは。

[daysleeeper]

冗長化のために2箇所に置いてるのに、2台「同時に切り替えは当たり前」というのが素人の自分にはどうもよくわからない。

[pi_kun]

Web系イケイケエンジにゃ〜と違って、SIer社員はやらされてる感強い人多いからな。プロパ社員もっと育てないと。闇だ

[kirarapoo]

冗長化って新旧システムを平行運転させるって意味じゃないんだけど

[georgew]

ロードファイルを生成するプログラムのテーブル作成処理に不具合 > ソフトウエア障害だったんですね。

[UhoNiceGuy]

32bitから64bitに移行してメモリ不足が起きるものなのか。キチンとした報告書上がってるそうだけど、読み通す能力はないです

[frkw2004]

記事内の「RC２３シリーズ」っていってるの、ORACLE データベースのバージョン23RCのことでしょ。テンポラリ表領域を自動拡張にしたら防げた気がするけど、パフォーマンスに多大な影響が出て不可能だったのかな。

[electrolite]

要はリリースのリスクが高すぎて簡単にできないから、インフラの更改なのにアプリも何もかも一緒くたにやってリスクが上がって事故る、というオンプレあるあるそのまんま。コスト削ったやつが一番悪い。

[totttte]

斜め読みだけどソースコード手加えてないから試験してない(本来メモリ確保量増やす修正すべきだった)→OS変わってメモリ使用量増えたので落ちた　ってことらしい。手加えてないところのリグレッションテスト不足？

[ata00000]

トップコメ、使わなくなった旧機器を待機系にしたら障害で待機系に移ったときに微妙な動作の違いでうまく動かなかった、とかよくあるやつだねぇ／故障のための待機系と切り戻しのための旧機器を混同してる？

[cider_kondo]

物理メモリは足りてるけど確保できなくて使えないっての、DOS時代のCONFIG.SYS連想した。HIMEM.SYSとかはいけたけどEMM386.EXEが壊れてて、いざ1-2-3起動したらEMS使えなくて広い表が読み込めなかった、的な？(わかりにくい比喩

[Magicant]

何か皆やたら「真の原因」って言葉が好きだよね。そんなものは存在しなくて、ただたくさんの要因が積み重なっただけなのに。

[Yuny]

なんにしても、確認しても実は勘違いしていたり、想定外なことは何かしらあったのだろう。障害が起きないシステムはない、と考えた方が良いのだろうな。用心と円滑運用のバランスだけど。

[jiro68]

トップコメを含め "冗長化" が意味する事が多岐に渡る事を知らない素人が多すぎ。全ての障害パターンに対応可能な単一の冗長化ソリューションなんて存在しない。機器の多重化で対応出来るのは機器の障害程度。

[progrhyme]

仕様に誤解があって何かがオーバーフローしたらしいことはわかった

[tk_musik]

移行ってただでさえ金かかるし、環境もう一個冗長性含めて丸ごと作りますって言うと稟議とおらんのよね。

[sin20xx]

交換行為がクライアント側の負担になるというの、結局のところ通信I/F部分にも改定が行われているからであって、その場合仮に片側系だけ切り替えたとしてもどのみち障害に陥る。なぜなら落ちた理由は解決されないから

[komo-z]

ソフトウェアにバグがないなんてありえない。記事を読んでの予想だけど、担当の技術者視点では想定の範囲内の障害なんじゃないかな。

[emt0]

仕様の知識不足、試験不足、失敗パターンの想定と対応準備不足。全体分かる人少なくて権限無いのかな？

[bml]

ハード的なメモリ不足じゃなくてテーブル的に増やしたけど、大元は聞いてないよと。

[spitzfreak]

記事では不足で、元を確認したら真因は大雑把に言えば実環境に近いテストをしていない(テスト自体は行われているがそれでは不足していた)という驚愕の理由、執筆者の理解度や記事にする際の取捨選択の難しさを感じる

[robamimim]

え？バカなの？冗長化した2台を同時更新ー？と思ったらインフラではありうると、、、そうなのか。

[awkad]

「製造工程」と呼ぶくらいだからね。コーディングしたのはN次受けのかろうじてコードがかけるレベルの人間だろう。当然上流担当は製造などという誰でも出来る下賤な事はわからないのでレビュー指摘も大してできない

[aike]

今回は単なるソフトウェアの更新じゃなくて、機能の物理的ロケーションを含むアーキテクチャ全体の更新だから、一気に変える必要があったし切り戻しも難しい。どこで防ぐべきだったかという正解は一概には言えない。

[kazyee]

個別に展開することを想定したのだったら、古いコンピューターでもメモリ不足のエラー出そうなものだけど、出なかったのはNTTデータは一応余裕代があったのかコンパイラが上手くやってくれたのか？