データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
全銀システムの大規模障害、「真の原因」明らかに--全銀ネットとNTTデータが発表
全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障
【X(旧Twitter)】アカウント認証ができない技術的な問題が発生中（2023年9月7日）
2023年9月7日頃から、X(旧Twitter)の認証「アカウントを認証する」で、エラー「問題が発生しました。技術的な問題が発生したため、リクエストを完了できませんでした。再度お試しください。」が発生しています。 認証でエラー「問題が発生しました。技術的な問題が発生したため、リクエストを完了できませんでした。」が発生中 2023年9月7日頃から、X(旧Twitter)で表示名やユーザー名の変更後、認証「アカウントを認証する」を行うと、エラー「問題が発生しました。技術的な問題が発生したため、リクエストを完了できませんでした。再度お試しください。」になる問題が発生しています。 アカウントを認証する あなたが実在の人物であることを確認する必要があります。 認証する 認証「アカウントを認証する」が完了できない状況 認証「アカウントを認証する」では、同じアイコンが２つ描かれたマスを１つ選ぶことで完了
うるう秒、2035年までに廃止へ
原子時計を地球の自転に合わせるために半世紀にわたって用いられてきた「うるう秒」が段階的に廃止される。こうした調整の技術的リスクを懸念するテクノロジー大手にとっては、うれしい話だ。 時間の管理に携わる世界各国の当局が現地時間11月18日、国際度量衡局（BIPM）の会議で、うるう秒の利用停止を投票で決めた。 BIPMは、うるう秒廃止の理由について、「うるう秒の採用によって生じる不連続が、衛星ナビゲーションシステムや通信、エネルギー伝送など重要なデジタルインフラに深刻な誤動作をもたらすリスクがある」と述べている。 変更は2035年までに実施される予定だ。新たな方針は、今後100年以上使えるように策定されている。 これほど正確な時間管理は、難解な科学の領域のように思えるかもしれないが、コンピューターがタスクを常時追跡し、適切な順番で動作するようにしなければならないデジタル時代には、極めて重要なこと
サーバダウンしたニコニコ漫画に何が起きていたのか - BOOK☆WALKER inside
こんにちは。メディアサービス開発部Webアプリケーション開発課の奥川です。ニコニコ漫画のバックエンド開発を担当しています。 2021年初頭、ニコニコ漫画である作品の連載が開始されました。それに端を発する数カ月間のサーバ障害により、ユーザーの皆様には大変ご迷惑をおかけしました。 少し前の話にはなりますが、当時ニコニコ漫画のサーバでは何が起こっていたのか、どのような対応を行ったのかを振り返ってみたいと思います。 1号棟（事の起こり） 2021/01/08 問題の作品（以後、「作品I」*1と記述します）の第1話が投稿されます。その過激な内容からSNSなどでは一部で話題になりましたが、まだニコニコ漫画へのアクセスも穏やかなものでした。 2021/01/22 その2週間後、「第2話（前編）」の公開から事件が起こります。 ピークタイム最中の12:22頃から、まずmemcachedがCPU Utiliz
Cloudflareが昨日（2022年6月21日）の障害原因はBGPの設定ミスと報告。東京データセンターを含む19の主要データセンターが一時オフラインに
Cloudflareが昨日（2022年6月21日）の障害原因はBGPの設定ミスと報告。東京データセンターを含む19の主要データセンターが一時オフラインに CDNプロバイダーのCloudflareは、日本時間の昨日（2022年6月21日）午後に発生したネットワーク障害についての報告を公開しました。 障害は日本時間の午後3時半頃に顕在化し、国内ではDiscordやPixiv、Nortionなどさまざまなサービスにおいて影響が報告されましたが、午後5時から6時頃にはおおむね復旧が見られたようです。 Cloudflareの報告によると障害はBGPの設定ミスが原因で、これにより東京データセンターを含む同社の主要な19のデータセンターで障害が発生したとのことです。 Today, June 21, 2022, Cloudflare suffered an outage that affected tra
東証、障害の原因を特定 「自動切り替えできない設定値になっていた」
東京証券取引所は10月5日、株式売買システム「arrowhead」（アローヘッド）で1日に発生した障害の原因を特定し、4日中に修正したと発表した。 障害は、ストレージ内でメモリ故障が起き、サブ機にも切り替わらなかったことが原因。メモリ故障による障害が起きた際、自動切り替えできない設定値になっていたという。 arrowheadのユーザー情報などを格納するストレージ「共有ディスク装置」の1号機に搭載されたメモリが故障したことに起因。1号機が障害を検知すると、切り替え用設定値に従って自動で2号機に切り替わるはずが、切り替わらなかった。 調査したところ、メモリ故障が原因の障害パターンが発生した際、自動切り替えできない設定値になっていたという。設定値を変更すれば、自動切り替えできることが判明。4日にシステムに適用し、自動切り替えが動作することを確認したという。 稼働前のテストでは、1号機と2号機相互
もしあなたが東証のCIOだったらどうした？ 〜あの記者会見から学ぶインシデントレスポンスのスキル〜 - 一般社団法人 日本CTO協会
日本CTO協会は「技術」を軸に規模や業種の異なる様々な人や組織が集まっているコミュニティです。会員は本社団の活動内容、調査テーマについて参加、提案し、他の技術者・技術組織とともに成長する機会が得られます。ご興味のある方は法人会員向け申し込みフォームからお問い合わせください。 2020年10月1日夕方に行われた東京証券取引所の記者会見（フル動画）を皆さんはご覧になりましたか？記者会見には宮原幸一郎社長、日本取引所グループ（JPX）の横山隆介・最高情報責任者（CIO）、東証の川井洋毅執行役員、田村康彦IT開発部トレーディングシステム部長が出席し、システム障害による同日の終日売買停止について説明がされました（公式記者会見要旨・資料）。この記者会見に関してエンジニアから称賛の声が多く上がっており、今回は特別に日本CTO協会理事兼GMOペパボ株式会社取締役CTOの栗林健太郎さん（@kentaro）に
ANAシステム障害の原因判明、シスコ製スイッチの「世界初のバグ」でDBサーバーがダウン
同期処理が失敗した原因は、4台をつなぐスイッチの不具合。具体的には、スイッチが故障状態であるにもかからず、故障を知らせる「故障シグナル」を発信しなかった。国内線システムは故障シグナルを検知するとスイッチを予備機に切り替えるが、今回はその機能そのものを作動できなかった。 スイッチは完全に停止したわけではなく、「不安定ながらも動作していたようだ」（同）。そのため、DBサーバー間の同期は順次失敗し、停止していったと見られる。 ANA広報によると、スイッチは米シスコシステムズ製「Catalyst 4948E」という。「2010年6月の発売開始以降、世界で4万3000台、うち日本で8700台を販売しているが、今回の不具合は初めての事象と聞いている」（ANA広報）。なぜ「故障シグナル」が発信できなかったかは分かっていない。 1台での縮退運転を決断 4台の完全停止から37分後、ANAは1台のDBサーバー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「au通信障害」完全復旧のKDDI会見質疑詳報、総務省幹部も入った復旧作業の舞台裏は
AWSが落ちてもGCPに逃がすことで落ちないシステムを作る技術