データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
全銀システムの大規模障害、「真の原因」明らかに--全銀ネットとNTTデータが発表
全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障
AWSのAZ(アベイラビリティーゾーン)とは？AZ障害が起きたときどうすればよいのか
アドテク本部の黒崎( @kuro_m88 )です。 2019/08/23にAWSの東京リージョンで特定のAZ内で大きめの障害がありました。 私が開発しているプロダクトもAWSの東京リージョンを利用していて、常時数百インスタンスが稼働しているため、今回の障害の影響範囲に含まれていました。 何が起きたのか？ AWSから公式発表が出ています。 東京リージョン (AP-NORTHEAST-1) で発生した Amazon EC2 と Amazon EBS の事象概要 データセンタ内の冷却の障害が原因で一部のハードウェアホストが過熱し電源が失われてしまったようです。これにより影響を受けたハードウェアホスト上で稼働していたEC2インスタンスやEBSボリュームは電源が失われているため、外部から見ると突然応答がなくなったように見えました。 担当サービスでも公式発表と同じくらいの時刻にELBやその配下のサーバ
９市町障害「業者コケると…どうしようもない」 : 社会 : 読売新聞（YOMIURI ONLINE）
障害発生が明らかになって５日目、ようやく復旧したシステムを使って残務に追われる職員（２７日、坂井市役所で） 福井県あわら市、坂井市、永平寺町、おおい町で証明書発行といった住民サービスが利用できなくなり、庁内業務を含めて計９市町に影響したシステムの障害は、発生から１週間が過ぎた３０日にようやく完全復旧となる見通しだ。県と全１７市町の業務に関わる民間のシステム会社で発生した通信障害はほぼ１週間に及び、原因も解明されておらず、現代社会を支える情報通信技術が抱えるもろさを露呈した。 ◆失態 「復旧作業は順調に進んでいる。明朝には解決する」。運用する福井システムズ（坂井市）はトラブルを公表した２３日以降、楽観的な見通しを示しては翌朝に撤回、という失態を繰り返した。 障害の発生は２２日未明。各役場の休みにデータをやりとりする会社のサーバーのソフトを更新しようとして突然、システムが使えなくなった。丸一日
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ
Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ クラウドのどこかで障害や災害が発生したとしても、その影響はアベイラビリティゾーンを超えることはなく、そのために複数のアベイラビリティゾーン（Google Compute Engineでは「ゾーン」）にシステムを分散して配置することで、クラウドの障害の影響を受けない高い可用性を備えたシステム構築ができる。これはクラウド（IaaS）に対応したシステム構築におけるもっとも基本的な考え方です。 しかし先週、2016年4月11日にGoogle Compute Engineで発生した通信障害は、アベイラビリティゾーンどころかリージョンの境界も越え、世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う
「うんこが漏れない世界を」世界待望のデバイスDFree予約開始 中西敦士代表インタビュー - 週刊アスキー
「うんこを漏らすのは大変だ」 トリプル・ダブリュー・ジャパン中西敦士代表は『DFree』（ディーフリー）開発のきっかけを自身の体験をもとにそう語った。 DFreeは、おなかに貼るだけで便や尿が「10分後に出ます」という情報をスマートフォンに通知する排泄予知デバイスだ。4月24日からクラウドファンディングのREADYFORで予約販売を開始した。価格は2万4000円。2016年4月出荷予定。 超音波センサーで膀胱や前立腺、直腸をモニターし、膨らみや振る舞いから排泄を予知する仕組みだ。ニッセイ・キャピタルからの出資も決まり、世界中から問い合わせが殺到しているという。日本発の画期的製品、開発の苦労を中西代表に聞いた。 ●世界中の子供たちからコメントが届く ――開発したきっかけは。 うんこを漏らしたからだ。身をもって「うんこを漏らすのは大変だ」と感じた。 ――いつごろの話か。 2013年9月くらいだ
Microsoft Azureが10時間を超える障害。原因はストレージの性能改善のバグと運用のミスとの報告
Microsoft Azureが10時間を超える障害。原因はストレージの性能改善のバグと運用のミスとの報告 マイクロソフトのクラウドサービス「Microsoft Azure」は、11月19日水曜日の午前10時前（日本時間）から午後8時45分の10時間を超える長時間、ストレージや仮想マシンなど多くのサービスでサービスの中断や性能低下などの障害を引き起こしていました。 その原因について、Microsoft Azureのブログのエントリ「Update on Azure Storage Service Interruption」（日本語訳「Azure Storage サービスのサービス中断について - Microsoft Azure Japan Team Blog (ブログ)」で報告されています。 この障害で影響があったのは、Azure Storage、StorSimple、Azure Backu
お名前.comが忍者TOOLSのドメインのDNS情報を消去／GMO大失態 - ほたるのブログ
このブログは引っ越しました。下記が引っ越し先です。 ほたるのブログ（過去の記事の移転先） 過去の記事はすべて上記のブログに引っ越してあります。その後、新しい記事も追加し、更新を継続しています。 また、引っ越しに伴い開設した第二ブログも更新継続中です ほたるのブログ（更新継続中） これからは上記二つのブログへお越し下さい。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
三菱テレビ「リアル」、突然画面消える障害が全国規模で発生 原因調査中 - 産経ニュース