Google Cloud、顧客のシステムを間違って全削除した大規模障害の原因を報告。プライベートクラウドの期間を1年と設定ミス
Google Cloudは、同クラウドユーザーであるオーストラリアの年金基金「UniSuper」で発生した大規模障害の原因について報告する記事「Sharing details on a recent incident impacting one of our customers」を公開しました。 今月（2024年5月）初旬、Google Cloud上で稼働していた数百の仮想マシン、データベース、アプリケーションを含むUniSuperのプライベートクラウドが突如として原因不明のまま削除され、復旧されるまでの数日にわたってシステムが利用できなくなるという大規模障害が発生しました。 今回の報告では、実際になぜこのような大規模障害が発生したのか、その原因と復旧の経緯について明らかにされています。その概要を紹介しましょう。 Google Cloud VMware Engineの設定を間違う UniS
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
全銀ネット障害、根底に“開発体制の不備”か NTTデータの見解
10月に発生した全国銀行データ通信システム（全銀ネット）の障害をめぐり、システム構築を担当したNTTデータが11月6日に謝罪会見を開いた。NTTデータグループの経営陣は、開発体制に不備があった可能性に言及し、総点検を行う考えを示した。 今回の障害では、三菱UFJ銀行やりそな銀行など10行、2日間で約506万件の取引に影響があった。そして現在も暫定措置のまま運用中だ。NTTデータグループ（持ち株会社）の本間洋社長は、全銀ネットの障害で預金者や金融機関に迷惑をかけたと謝罪した。 直接の原因については、10月18日に全銀が説明した内容と同様。システム移行直後に中継コンピュータのシステム上で銀行間取引手数料の入力とチェックを行った際、メモリ上に展開したインデックステーブルが破損していたため、中継コンピュータが異常終了したと説明している。 NTTデータの佐々木裕社長は「動作していたアプリケーションに
「切り戻しよりリスクが低い」、全銀ネットが11日開催した説明会の一問一答
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月11日、銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で発生した不具合に関してオンライン説明会を開いた。オンライン説明会は前日から2日連続での実施だ。1日目の質疑応答を踏まえ、全銀ネットの対応に対して厳しい質問が相次いだ。説明会の主な一問一答は以下の通り。 今回の更新作業は中継コンピューター（RC）のハードウエアとソフトウエアの両方を変えたのか？ そのうち何が原因でトラブルが生じたのか？ RCのハードウエアとソフトウエア両方のアップグレードを図った。そのうちソフトウエアに不具合が生じた。具体的には、内国為替制度運営費（旧銀行間手数料）の設定をチェックする機能にトラブルが生じた。 プログラム修正について、どのような改修を試みているのか？ 電文の種類によらず、内国為替制度運営費を算出しない簡素型プログラムを作成し、RC
手順書の記載ミスで発生したJR東日本のシステム障害についてまとめてみた - piyolog
2023年6月26日、JR東日本は6月24日に発生したシステム障害の原因が電源工事の操作手順に誤りだったと公表しました。システム障害の影響により、Webページの閲覧不可やモバイルSuicaのアプリが利用できないなどが生じました。ここでは関連する情報をまとめます。 4つのシステムに最大半日の影響 システム障害は2023年6月24日0時37分頃発生。電源供給断により各システムのサーバーが停止しシステムの異常を知らせるアラートが相次ぎ発報。*1 夜間処理中に強制的な停止が生じたことで、ハード故障、データ不整合が発生。JR東日本は次の4つのシステムに電源断の影響が及んだとしている。 影響を受けたシステム 障害発生時間 障害発生による具体的な影響 JR東日本Webシステム 2023年6月24日0時37分～6時33分 Webサイトの閲覧不可 ビューカードシステム 2023年6月24日0時37分～9時2
JR東日本のシステムが復旧、電気工事で誤って切ったブレーカーが原因か
JR東日本は2023年6月24日、午前0時37分ごろから発生していたシステム障害は午後1時ごろにすべて復旧したと発表した。JR東日本によれば「詳しい原因は調査中だが、屋内電源設備の工事の際に誤って予定していなかったブレーカーを切ってしまったためと思われる」（コーポレート・コミュニケーション部門）という。 障害発生当初は、みどりの窓口や発券機でのクレジットカード利用ができなくなった。また交通系ICカード「Suica（スイカ）」をスマートフォンなどで使える「モバイルSuica」や、インターネット切符予約サービス「えきねっと」にログインできない状態だった。 交通系ICカード「PASMO（パスモ）」でも同日午前0時30分ごろに電源トラブルによる障害が発生し、午後1時14分ごろに復旧した。障害発生中はモバイルPASMOの利用や、ICカードの再発行／払い戻しができなかった。 関連記事 JR東日本でシス
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について当社システムに起因した度重なる証明書誤発行およびそれに伴う個人情報の漏えいにより、自治体様ならびに証明書交付サービスをご利用の皆様に多大なるご迷惑ご心配をおかけしておりますこと深くお詫び申し上げます。 今般、デジタル庁様より、今後はこのような事態が起こらぬようシステムの運用を一時停止して再点検を行うようご要請頂きました。 当社といたしましては、これまでの一連の事案を受けてシステムの点検を進めてまいりましたが、この度のご要請を厳粛に受け止め、真摯に対応してまいる所存でございます。対応に際しましてシステム運用の一時停止を含め点検に対するご協力を各自治体様にお願いさせて頂くため、自治体様ならびに多くの皆様にご迷惑ご不便をおかけいたしますことを重ねてお詫び申し上げます。 なお、自治体様毎にシステム環境が異なるため、具体的な内容につ
世界一大きなインスタンスでヤバい障害起こしちゃった話
これはMisskey Advent Calendar 2021の22日目の記事です。 私は世界最大のMisskeyインスタンス、Misskey.ioを運営しています。(物は言いよう) そんな世界最大のインスタンスでヤバい障害を起こしてしまったため、この記事では障害の詳細や同様の障害を起こさないために必要な対策について書いていきます。 クソデカフラグを立ててしまった まず大規模障害の前日、私はDiscordの通話で以下のような発言をしていました。 そう、彼は翌日に復旧不可能な大規模障害を起こしてしまうのである 障害内容 起こしてしまった障害ですが、Misskey.ioのデータを半年分吹き飛ばしました。 この吹き飛ばしてしまったデータには投稿だけでなく半年間に作成されたアカウントも含まれており、消失してしまったアカウント数は2,000アカウントほどになります。 原因 Misskey.ioは同一
Skeb、12月の大規模障害は「Heroku障害ではない」「完全に解決」 詳細は触れず
クリエイターに有償でイラストなどを発注できるサービス「Skeb」を提供するスケブ（東京都千代田区）は1月23日、2022年12月に発生した障害について「セールスフォース・ジャパン担当者との協議を経て、完全に解決した」と発表した。原因がクラウドサービス「Heroku」の障害でないことを確認したという。 Skebでは12月23日から24日にかけて障害が発生。当時の発表では、原因はHerokuのアカウントにあったとしていた。ただし詳細に不明点があり、解決後も問題の経緯を探っていたという。 スケブによれば、セールスフォース・ジャパンは障害の解決後、12月28日にスケブを訪問。原因がHerokuの障害ではないことを確認した他、セールスフォース・ジャパンが当時把握していた状況について説明を受けたという。その後協議を経て、1月23日に問題の解決に至ったとしている。ただし障害が起きた実際の原因については説
「何かに集中していて、聞き取れなかった音声」を後から再生できるイヤフォン 京セラが開発
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 京セラ研究開発本部フューチャーデザインラボの研究チームが人間拡張研究の一環として開発した「無意識な音を意識化させるヒアラブルデバイスの提案」は、何かに集中していて聞き逃した音声を後から教えてくれるヒアラブルデバイスだ。 何かに集中していて周囲の音が聞き取れなかった経験はないだろうか。例えば、スマートフォンでゲームをしていて電車のアナウンスが聞こえず乗り過ごしてしまったり、空港でPC作業をしていて搭乗アナウンスを聞き逃したり、講義でメモを取っていて講師が話す重要な内容を聞き逃してしまったりなど。 このように、人間は常に複数の事柄に集中できず、一方の集中により集中外の他方の事柄が埋もれてしまう
「深く反省している」――ドコモ、14日の通信障害を謝罪
NTTドコモは10月15日、14日に全国的に発生した通信障害について記者会見を開いた。同社の田村穂積副社長は「大変ご迷惑をおかけし、深く反省している」と謝罪した。 障害の規模は全国に及んだが、影響を受けた範囲についてはユーザー数は算出できないと説明する一方で、音声通話は前週との比較で、14日～15日未明までで約15％ほど件数（呼数）が減少、パケット通信は約4％減少したと明かした。 携帯電話の利用には、基地局の効率的利用の面からサーバに現在地の位置情報を登録する必要があるが、障害中に位置情報の登録ができなかったユーザー（移動中の通信など）は約200万人いたという。 通信障害の原因は、加入者や位置情報データを管理する「加入者／位置情報サーバ」の切り戻し（元の状態に戻す）と説明。新設備への移行作業で不具合が発生し、旧サーバに戻したという。その際、復旧のために通常運用には無い、全てのIoT端末に対
ドコモが通信障害になったのでiPhoneのデュアルSIMに基本0円のeSIM（povo2.0）を備えてみた
本日ドコモで通信障害が起きて通信できなくなったので、今後の障害に備えてデュアルSIMを活用してバックアップ回線を入れておくことにしました。 今回起きたドコモの通信障害は音声通話・データ通信がしづらくなるというもので、全国的に広範囲で発生。発生した端末はアンテナピクトが立たず通信できない現象が起きていました。 私が使っているiPhone 12 miniもドコモのメイン回線のSIMカード一枚のみ設定した状態で、WiFi環境下で特に不便は無かったものの、今後の同様の通信障害に備えてeSIMのデュアルSIM機能を使って外出先で通信できなくなった際のバックアップを設定してみる事にしました。 基本料0円で使えるeSIMのpovo2.0(au)と楽天モバイル iPhone XSシリーズ〜iPhone 12シリーズは、物理SIM（nanoSIM）とeSIMを1枚ずつ使ったデュアルSIMに対応。また、iPh
Facebookが障害で止まった日、プログラマはいつもより多くのプルリクエストをマージした。解析ツール企業が明らかに
Facebookが障害で止まった日、プログラマはいつもより多くのプルリクエストをマージした。解析ツール企業が明らかに Haystack社はGitHubのリポジトリを監視し、プルリクエストやマージなどをメトリクス化して分析することでプログラマの生産性やボトルネックなどを計測するサービスを提供しています。 同社は、Facebookが障害によって停止した日はいつもよりプルリクエストのマージが増加したと、ブログ「Facebook Outage Increased Developer Throughput by 32%」（Facebookの障害によりデベロッパーのスループットが32％増加した）で紹介しています。 Facebook Outage Increased Developer Throughput by 32%: https://t.co/GBlNpjpMx1 — Haystack (@use
みずほ銀行のシステム、金融庁が管理へ 異例の行政処分 - 日本経済新聞
金融庁は週内にも、ATMなどの障害が多発するみずほフィナンシャルグループとみずほ銀行に対し、異例の行政処分となるシステムの「管理命令」を発動する方針だ。年内いっぱいをメドに、同行が進めるシステムの更新作業や保守業務を共同で管理し、必要に応じて運営体制の見直しも命じる。金融当局がシステム運営を直接監督することで障害再発を最小限にとどめ、金融システム不安への波及を防ぐ。【関連記事】・・みずほは今年2月以降、7回のシステム障害を起こし、利用者の不安が広がっている。機器の改修などを進めているが、基幹システムそのものに欠陥がある可能性もあり、障害再発のリスクがぬぐえない。そのため金融庁は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全銀システム システム障害に係る対応状況について
14日のドコモ通信障害は、IoT回線のメンテナンス工事が原因 - ケータイ Watch
みずほ銀行のシステム障害（今年4回目～6回目）、苦しい言い訳まで持ち出す経営体質の経年劣化が原因か : 市況かぶ全力２階建
みずほ銀行で恒例のシステム障害（22日ぶり今年8回目）、今度は月末かつ五十日かつ半期末に一部外為取引が遅延する不具合 : 市況かぶ全力２階建
みずほ銀行、システム運営を金融庁が直接管理する屈辱的な行政処分へ : 市況かぶ全力２階建
行政指導頻度も業界No.1（2年で7回）の楽天モバイル、約4時間半の大規模通信障害 : 市況かぶ全力２階建
