すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
全銀システムの大規模障害、「真の原因」明らかに--全銀ネットとNTTデータが発表
全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障
ルーター不具合による韓国行政ネットワークの大規模なシステム障害についてまとめてみた - piyolog
2023年11月17日、韓国の地方行政システムで3日にわたる大規模なシステム障害が発生し、韓国内の多くの行政機関の業務に支障が生じ、手続きが行えないなど市民の生活にも大きな影響が及びました。その後の調査を経て、韓国政府はネットワーク機器の異常によるものだったと原因について明らかにしています。ここでは関連する情報をまとめます。 56時間にわたり行政ネットワーク使えず システム障害は認証基盤である行政電子署名証明書（GPKI）システムで発生。韓国では公務員はシステム接続を行う際にGPKIシステムで認証を行っているため、全国の自治体で業務システムを利用できない事態となった。GPKIシステムと接続していた、閉域ネットワーク運用されている韓国内のすべての自治体が利用する「市道セオル行政システム」や行政プラットフォームの「政府24（정부24）」が利用できなくなった。 GPKIシステムは物理サーバー15
ドメイン名失効による大学生協のシステム障害についてまとめてみた - piyolog
2023年11月14日、大学生協事業連合は、大学生協のWebサイトへの接続不可やメール受信ができないといった不具合が発生したことを公表しました。全国複数の大学生協組合にも影響が及んでいたとみられ、一部生協組合では障害原因についてDNSエラーによるものと公表しています。ここでは関連する情報をまとめます。 全国の大学生協に影響 大学生協事業連合が公表した障害は同連合のWebサイトへの接続不可と、メール受信エラー（送信しても届かない）の2件。2023年11月12日0時10分から11月14日11時38分頃（メールは11時37分頃）まで障害が続いたが公表時点で復旧済み。*1 *2 後述の通り、障害の影響は全国複数の大学生協組合のサービスにも及んでおり、次の業務・サービスが利用できないとして利用者向けにアナウンスが行われていた。 大学生協アプリを通じたクレジットカード、コンビニチャージの利用（店舗利用
「説明を聞けば聞くほど不穏な空気が漂ってきたよ」全銀ネットの障害、原因説明の会見で謎がさらに深まった模様
J @j17sf 概要については主に先週の記事で紹介したので、QAになるまではメインのツリー伸ばしません。興味ある方は記事を参照ください watch.impress.co.jp/docs/series/su… 2023-10-18 16:13:29 リンク Impress Watch 全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】 10月10日から全国銀行資金決済ネットワーク(全銀ネット)が運用する「全国銀行データ通信システム(全銀システム)」で発生していたシステム障害は、12日朝8時半の営業開始時間(コアタイム)をもって解消された。一部、10日と11日に行なわれた“仕向”の取引データに未処理のものが残っていたが、12日午前10時50分をもって全件処理が完了しており、通常状態へと戻っている。 65 users 114
全銀システム障害の原因判明、メモリー不足でインデックステーブルが不正確な状態に
銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で2023年10月10～11日に発生した障害の原因が10月16日、分かった。全銀システムと各金融機関のシステムをつなぐ中継コンピューター（RC）において、メモリー不足に起因し、金融機関名などを格納したインデックステーブルに不正な値が紛れ込んだ。 インデックステーブルはRCのディスク上にあるファイルから展開する。このファイルを作成するプログラムを実行したタイミングで、一時的に確保するメモリー領域が不足し、ファイルの内容が不正確になったという。 全銀システムの障害を巡っては、三菱UFJ銀行やりそな銀行などで他行宛ての振り込みに遅れが生じた。全銀システムを運営する全国銀行資金決済ネットワーク（全銀ネット）によると、概算値ながら10月10～11日の2日間で仕向けと被仕向けを合わせて500万件超の送金に影響が出たとしている。
全銀システムの大規模障害、中継コンピューター2台ともに不具合で冗長構成が機能せず
2023年10月10日午前8時30分ごろに発生した「全国銀行データ通信システム（全銀システム）」の障害。全国銀行資金決済ネットワーク（全銀ネット）は復旧に向けた対応を実施しているが、11日午前11時時点で解消のめどは立っていない。 全銀システムは東京と大阪の2カ所のセンターで並行運転し、システムを構成する各種装置や通信回線などをすべて二重化してある。顧客に影響が出るシステム障害が発生するのは1973年の稼働以降、50年間で初めてとなる。 今回、不具合が生じたと考えられるのは、金融機関が全銀システムに接続する際に使う中継コンピューター（RC）のプログラムだ。送金元の金融機関から送金先の金融機関に対して支払う「内国為替制度運営費（旧銀行間手数料）」の設定などをチェックする機能に不具合が生じたと見られる。 きっかけは保守期限到来に伴い、10月7～9日の3連休中に14の金融機関で実施したRCの更改
ネコがキーボードの上に飛び乗ったことで4時間にわたってサーバーのシステムが停止する事例が発生
ネコをペットとして飼った経験がある人なら、PCでの作業中にネコがすり寄ってきた、という経験をしたことがあるはず。アメリカ・ミズーリ州カンザスシティの退役軍人医療センターでは、ネコがエンジニアのキーボードに飛び乗ったことで、サーバー情報が削除されてしまい、4時間にわたってシステムが停止したことが報告されています。 VA hospital's IT snafu blamed on cat's keyboard surfing • The Register https://www.theregister.com/2023/10/05/hospital_cat_incident/ 2023年9月中旬、カンザスシティ退役軍人医療センターでは、4時間にわたってシステムが停止する事例が発生。その後の約100人規模で行われた会議にて、エンジニアの一人が「サーバーのクラスタの構成を確認している際に、ペットの
【詳細】トヨタ 国内14工場で稼働停止 システムに不具合 | NHK
トヨタ自動車は、システムの不具合を受けて、グループ会社を含む国内14のすべての工場で稼働を停止する事態となりました。仮の復旧作業を進めて30日朝からはこのうち12の工場で稼働を再開させるとしています。 トヨタ自動車によりますと、システムの不具合が発生し部品の発注の処理ができなくなったことから、グループ会社を含む国内の14のすべての工場で稼働を停止させる事態となりました。 会社は、原因は調査中としていますが、仮の復旧作業を進めて30日朝からはこのうち12の工場で稼働を再開させるとしています。 一方、福岡県と京都府にある2つの工場は、30日夕方から夜にかけて稼働を再開する見通しです。 トヨタでは、取引先がサイバー攻撃を受けた影響で、去年3月、一時、国内すべての工場の稼働を停止する事態となりました。 会社は、今回のシステムの不具合は今の段階ではサイバー攻撃ではないとみられるとしていて、原因の調査
ランサムウエアによる名古屋港のシステム障害についてまとめてみた - piyolog
2023年7月5日、名古屋港統一ターミナルシステム（NUTS / Nagoya United Terminal System）でシステム障害が発生しており、システムを管理する名古屋港湾協会は障害原因がランサムウエアによるものと公表しました。ここでは関連する情報をまとめます。 ランサムウエアによる国内初の物流影響事例か システム障害が起きたのは名古屋港湾協会が管理する名古屋港統一ターミナルシステム(NUTS)。名古屋港の5つのターミナル（飛鳥ふ頭北、NCB、飛鳥ふ頭南、TCB、鍋田ふ頭）と集中管理ゲート、荷役機器、NACCS、NUTS-Webをネットワークでつなぎ、船からの積み下ろし、プランニング、コンテナ保管、搬出入、ヤード作業、保税管理を行うシステム。*1 NUTSは1999年に導入されこれまで大きな障害が起きたことがなく、また2022年8月からシステム移行が行われ2023年1月に新シス
モバイルSuica障害、電源工事ミスが原因 マニュアルに誤り、システムサーバへの電源供給切れる JR東
JR東日本は6月26日、24日に発生した、モバイルSuicaでのチャージなどができなくなった障害について、電源工事のミスが原因だったと発表した。工事マニュアルに間違いがあり、計画と異なるブレーカーを切ってしまったことで、システムサーバへの電源供給が止まってしまったという。 原因は、屋内の電源工事。マニュアルには本来「盤NO6（CV6）内のブレーカーを『切』にする」と記載されるべきところ、「盤NO6（CV4）内のブレーカーを『切』にする」と書かれていた。 作業スタッフがこの誤りに気づかず、「盤NO4（CV4）」のブレーカーを切ったため、夜間処理中のシステムへの電源供給が止まり、ハード故障やデータ不整合が発生した。 障害発生から完全復旧まで約12時間かかった。サーバ電源を再投入し、ハードウェアの健全性を確認した後、電源供給停止時に実行されていた処理の再実行やデータの整合性を確認した上でサービス
JR東日本のシステムが復旧、電気工事で誤って切ったブレーカーが原因か
JR東日本は2023年6月24日、午前0時37分ごろから発生していたシステム障害は午後1時ごろにすべて復旧したと発表した。JR東日本によれば「詳しい原因は調査中だが、屋内電源設備の工事の際に誤って予定していなかったブレーカーを切ってしまったためと思われる」（コーポレート・コミュニケーション部門）という。 障害発生当初は、みどりの窓口や発券機でのクレジットカード利用ができなくなった。また交通系ICカード「Suica（スイカ）」をスマートフォンなどで使える「モバイルSuica」や、インターネット切符予約サービス「えきねっと」にログインできない状態だった。 交通系ICカード「PASMO（パスモ）」でも同日午前0時30分ごろに電源トラブルによる障害が発生し、午後1時14分ごろに復旧した。障害発生中はモバイルPASMOの利用や、ICカードの再発行／払い戻しができなかった。 関連記事 JR東日本でシス
障害対応プロセスを改善してきた話 - 10X Product Blog
障害プロセスを改善してきた話 こんにちは。Reliability & Securityチームに所属するSoftware Engineerの@sota1235です。 今回は10X内における障害対応プロセスの改善をご紹介します。 今が完成系ではなく道半ばではありますがこの半年 ~ 1年で大きく進化したので同じくらいのフェーズの会社で困ってる方がいたら参考にしてみてください！ ちなみに私ごとですが去年の5/26にこんな投稿をしてたのでやっと伏線を回収する形となります(※ ドヤ顔ではありません)。 目次 こんな感じで紹介していきます。 目次 障害対応プロセスの改善に踏み切った背景 課題1. 障害の報告フォーマットが統一されていない 課題2. 障害報のクオリティの差異が大きく後から振り返りが難しい 課題3. 障害対応者が特定の人に偏る 第一の改善 改善1. 障害報告書のフォーマット更新 改善2. S
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について当社システムに起因した度重なる証明書誤発行およびそれに伴う個人情報の漏えいにより、自治体様ならびに証明書交付サービスをご利用の皆様に多大なるご迷惑ご心配をおかけしておりますこと深くお詫び申し上げます。 今般、デジタル庁様より、今後はこのような事態が起こらぬようシステムの運用を一時停止して再点検を行うようご要請頂きました。 当社といたしましては、これまでの一連の事案を受けてシステムの点検を進めてまいりましたが、この度のご要請を厳粛に受け止め、真摯に対応してまいる所存でございます。対応に際しましてシステム運用の一時停止を含め点検に対するご協力を各自治体様にお願いさせて頂くため、自治体様ならびに多くの皆様にご迷惑ご不便をおかけいたしますことを重ねてお詫び申し上げます。 なお、自治体様毎にシステム環境が異なるため、具体的な内容につ
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリングから継続
「Herokuの対応は遺憾」 Skeb障害、機会損失は1500万円相当 クラウド丸ごと乗り換え約18時間で解決
「Herokuの対応は遺憾」 Skeb障害、機会損失は1500万円相当 クラウド丸ごと乗り換え約18時間で解決 クリエイターに有償でイラストなどを発注できるサービス「Skeb」で12月23日から24日にかけて発生した障害について、運営元のスケブ（東京都千代田区）は24日、損失の詳細を公開した。 「Skebでは月間約5億円の取引があるが、今回の障害で1500万円相当の取引の機会損失が発生した。しかし、12月26日午前8時現在もHerokuから詳しい状況説明はなく、詳細な経緯は判明していない。厚いサポートをうたうエンタープライズ契約を締結しているにもかかわらず、このような対応は大変遺憾」（同社） 障害は23日午後12時22分から24日午前7時にかけて発生。期間中、ログインなどがしにくい状態だった。原因はサービスの提供に使っていたクラウドサービス「Heroku」のアカウントに起きた問題。「Ske
立川市役所の庁内LAN障害、原因は「Edgeブラウザーへの移行」
2022年6月27日、東京・立川市役所で大規模な通信障害が発生した。出先機関を含めた1000台以上のパソコンで終日、窓口作業ができなくなった。庁内LANの心臓部となるコアスイッチの障害が原因だった。コアスイッチに向けて大量の通信が発生し、メモリー不足に陥った。原因特定に時間がかかり、完全復旧に1週間を要した。 グループウエアの挙動がどうもおかしい――。東京都立川市役所の本庁舎内がざわつき始めたのは2022年6月27日、始業時刻である午前8時半ごろのことだ。ほどなく市役所のITインフラストラクチャー運営を担う総合政策部情報推進課のもとに、「窓口業務用の情報システムにアクセスしづらい」「内線電話が通じなくなった」といった職員らの困惑した声が続々と寄せられるようになった。 情報推進課はただちに障害箇所の特定に乗り出した。庁内ネットワークのメンテナンスを委託している保守事業者と連絡を取り合い、担当
ITインフラの障害時、「今どうなってるんだおじさん」にならないために 必要な心構えを考える
先日、KDDIが大規模な通信障害を起こした。社会インフラである携帯電話に関する障害ということもあって影響は大きく、SNSでもさまざまな話題のタネになった。障害対応をしている真っ最中の現場など、関係各所に「今どうなってるんだ」と怒鳴り込み、解決を遅らせる「今どうなってるんだおじさん」もその一つだ。 例えばauの障害時は、auショップに怒鳴り込む人が相次いだという。総務省がKDDIに幹部を直接送り込んだ報道に対しても「『今どうなってるんだおじさん』ではないのか」と疑問視する声が見られ、後に総務省が「足を引っ張ったわけではない」と詳細を説明していた。 実はこの問題、携帯回線だけでなく、クラウドなど、他のITインフラの障害時にも起こり得る。もし周りでITインフラが障害を起こしたとき、今どうなってるんだおじさんにならないためにどんな考え方をすればいいのか。auの一件や、エンジニアやコンサルタントとし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
トヨタ、生産指示システムの不具合はディスク容量不足 サイバー攻撃を否定
みずほ銀行でシステム障害 ｜ 共同通信
