システム過負荷でなぜATMにトラブルが？ みずほ銀システム障害、運用面の課題あらわに

2月28日に発生したみずほ銀行のシステム障害。同行の藤原弘治頭取は3月1日に記者会見を開き、システムの過負荷が原因だったとして謝罪した。この障害の影響で、同行が持つATM約5900台のうち4318台が一時取引できない状態に。ATMに挿入したまま戻ってこなくなった通帳やキャッシュカードは5244枚あったという。 障害の原因となったシステムの過負荷はなぜ起きたのか。そして、なぜATMにトラブルが波及したのか。藤原頭取は、「今回の障害は想定の甘さに起因するもの」と説明する。会見の質疑応答から、システム障害の全貌が垣間見えた。 データ更新と月末処理がバッティング みずほ銀は27日、1年以上動いていない定期預金口座のステータスを「不稼働」に変更するデータ更新作業を行っていた。処理したデータは45万件。この作業を行うにはシステムに十分なデータの空き容量が必要だという。 同行は事前のテスト環境でシステム

[Falky]

挿入されたカードを吐き出すべきか否かって話の前に、ATMを機能制限したならATM自体を止めて、カードが新たに挿入されないようにしなきゃダメ。当然そういうロジックはあるはずで、なんで発動しなかったんだろう？

[fukuroiri]

状況が明らかになるにつれて、複数の問題があることがわかってきましたね。フェイルセーフが不適切。システムが脆弱すぎ。問合せ対応がテキトー。改善すべき点が多すぎるな。

[rgfx]

「取引できませんでした」と表示してそのまま突き返してほしいという気はするものの、偽造カードやExploit込のカードを想定したフローが暴発したのだろうなあ…。

[shiketanotsuna]

処理可能上限を意識しながら使わなくちゃいけないシステムかつそれを事前に見積もることもできず超えた場合にフェイルセーフされないシステムが果たして無事に構築出来ていると言えるんだろうか。

[IMO_foggy]

これは再発するだろうな、と思った。

[tsutsumi154]

説明見てると定期預金の処理は全件一括に処理する必要はあまりないんじゃないかな

[masatomo-m]

システム構築が成功していてこの有様ってことは、作ったシステム自体が欠陥品だったということでより深刻なのでは？と思ってしまった。みずほユーザーじゃないので外野から眺めるだけだけども

[kamm]

これは運用の問題じゃないでしょ。設計がダメすぎだし、どうしてもハードや設計で解決できないなら複数の処理が走らないよう制限しないと。

[toaruR]

月末処理の方は大丈夫だったんだろうか((((；ﾟДﾟ))))

[joker1007]

4000億もかけて、数十万件のバッチが何割か増えただけでリソース不足になる程度のシステム設計しておいて「成功」とは一体……。そもそもバッチ時のリソース不足は運用の問題じゃないだろ。

[houyhnhm]

そもそもスケジュールがおかしいだろとか、メモリ不足ってとか、色々あるなあ。

[spiral]

月末処理とか年度末処理とか根本的に無くせよ。それができるのはITではなく知性と業務知識であり、技術はそれを支援するのみ。PoCやるだけとかの上っ面なDXなどすぐにやめろ。

[knok]

MUFGのATMだけどカードを飲み込んで帰ってこないエラーに遭遇したことがあるので割と普通の挙動だったりしないだろうか。なお帰ってくるのに1時間ぐらいかかってつらかった

[mas-higa]

データ更新作業は過去に実績なかったのか。それでトラブル対応の想定してないって楽観的すぎるだろ。

[ludwig125]

ユーザ側としても技術者側としても自分事と考えるとつらい

[xlc]

DBのロールバックセグメントが足りなかった的な話か。手作業での更新ではありがちなこと。ただし通常はリハーサルをやると思うけどね。

[ROYGB]

エラー発生はどうしても避けられないとして、エラー画面にもならずカードや通帳が入ってしまい、しかも戻ってこない状態になるのはまずいような。他の銀行ではそうはならないと思うけど。

[NOV1975]

ATMを機能制限したなら、というトップブコメがあるけど、すべての口座が使えなくなったわけじゃないからなあ

[baroclinic]

そうなんだよ、不具合検出したらカードを飲み込まないほうが堅牢だよね。ネット上のエンジニアっぽい人は「フェールセーフとして飲み込んだら出さない」が多くて、実際にシステム作る人はそういう発想になるのかなと

[quick_past]

銀行に人が居ない土日に2つの処理が重なるなんて最初からわかりそうなもんなんだけど、お粗末すぎない？(;´Д`)

[fn7]

“システム上の空き容量が不足した結果、インターネットバンキングやATMで定期預金の取引ができなくなる障害が発生した” ストレージじゃなくてメインメモリの方かな。

[pj_lim]

メモリでもcpuの負荷でもなく、ディスク容量？ それくらい金積んどけば結果的に良かったんじゃ

[privates]

休日の手数料、返却に触れてないな。

[kura-2]

お、もう一冊本書くつもり？

[daybeforeyesterday]

うーむ

[viperbjpn]

ドミノ

[aox]

不具合で桁が増えないかなという淡い期待でみずほ銀行さんをメインバンクにしています

[skel]

45万件に25万件の処理で過負荷？4500万ではなく？？

[a2c-ceres]

もし、ATMとかIB止めてなかったら処理が終わらず突き抜けていたって事かな、それもやばいな。他行との取引は非整合がでるとまずいから他行でのATM引き出しは残しといたのかね。

[fhvbwx]

四千億円かけたといわれるIT界のサグラダ・ファミリアが完成時点から欠陥品っぽかったという、残当な結果

[kei_0000]

リニューアルして、こんな早くから負荷に起因する問題か。スケールアウト出来ないシステム設計なら、この先もやばいのでは。運用でやりくりするのも限界があるし、現場はストレスで疲弊しそう。

[pan150-051]

わ

[hryord]

なぜ昼間にやった？

[narwhal]

「同行が持つATM約5900台のうち4318台が一時取引できない状態に。ATMに挿入したまま戻ってこなくなった通帳やキャッシュカードは5244枚あったという」

[shinme_chan]

これでユーザーが離れて休眠口座が増えて次回バッチ更新時にまた落ちる

[leiqunni]

本質的な問題があるなら、他行ではあんまりトラブル起きてない、ってことだと思う。もしくは「またか」で済まされる銀行になるか。

[dosnaka]

ベンダーの責任って言わなかったのは、そもそもが作文して会見したからかな？

[gurinekosan]

定期預金口座の不稼働判定なんて月末にやる必要ねえだろとか、容量計算ちゃんとやったんか、みたいな見積不足と、何故バッチ処理のパンクで、ATMのカード飲み込みのような防犯対策が起動するのか、問題が遍在過ぎる。

[punkgame]

全然進歩が見られない。また？って感じ。まぁユーザーじゃないので「あーぁ、またみずほやらかしてらぁ」としか思わんけども。

[paulownia]

なんで飲み込んだままで返却しないんだろな？防犯のため？