mixi大規模障害について 解明編 - mixi engineer blog
こんにちは、システム本部技術部たんぽぽGの森本です。 先日のmixi大規模障害の原因となったmemcachedの不具合の詳細な解明ができました。 再来週まで発表を見合わせようと思ったのですが、早くお伝えしたほうがいいと思いましたので公開発表致します。 memcachedとlibevent memcachedはlibeventというライブラリを使用してクライアントからの要求(接続、コマンド送信)を処理しています。 libeventを使用するにはevent_baseという構造体を用います。 main threadはmain_baseを使用します。 static struct event_base *main_base; ... int main (int argc, char **argv) { ... main_base = event_init(); ... /* enter the ev
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. Well,…
「富士通の開発ミスの全責任は東証にある」とみずほ証券、株誤発注裁判
2005年12月にみずほ証券がジェイコム株の誤発注で出した損失を巡って東京証券取引所を訴えた裁判の第9回口頭弁論が2008年5月9日、東京地方裁判所で開かれた。原告のみずほ証券側は、被告の東京証券取引所にシステムの発注者としての注意義務違反と重過失があったことを改めて主張する準備書面を地裁に提出した。 みずほ証券側は「東証はシステムの発注者として、業務上の要求を富士通に伝え、富士通が開発したプログラムが要求と整合しているかをテストする責任がある」と訴え、「誤発注の取り消しができなかったのは東証の重過失だ」と主張した。 さらに「東証から委託を受けた富士通はシステム提供債務の履行補助者に当たる」との前提で、「富士通が設計・開発過程で犯したミスの全責任は東証が負う」とも述べた。 東証側が「そもそも誤発注がなければ損失は発生しなかった」との考え方に基づいて「仮に債務不履行と重過失に当たるなら、みず
楽天とマネックス証券の行政処分を勧告、システム障害防止で不備
証券取引等監視委員会は2009年3月13日、ネット証券大手の楽天証券とマネックス証券に対して行政処分を行うよう金融庁に勧告した。両社を検査した結果、システムに関係する法令違反があったという。 楽天証券が指摘されたのは、2008年11月11日に発生し復旧まで約7時間続いたシステム障害と2009年1月13日の5時間弱続いた発注遅延に対するもの。どちらも、「システム運用組織の管理が十分でない」とされた。 監視委は「システム障害の被害拡大を未然に防ぐ、被害を最小化する復旧態勢の整備が不十分」「障害発生時に顧客に混乱を生じさせない適切な措置が講じられていない」と指摘。例えば、ベンダーの復旧作業の確認を楽天証券側できちんとしていない、復旧マニュアルの実効性が確認されていないといった点を挙げた。 マネックス証券についても同様に「システム運用組織の管理が十分でない」ことが問題視された。同社は2006年6月
グーグル、Gmailの大規模障害で補償--有料ユーザーに15日の無料期間
ビジネスにGmailを利用しており、その上で、2時間半の間、Gmailの利用が妨げられた場合、1ユーザーにつき2.05ドルの生産性が失われたと感じるだろうか？ この額こそ、Googleが米国時間2月24日に発生した2時間半に及ぶGmailの障害の後、企業向け有料サービス「Google Apps Premiere Edition」の顧客に対して、同社が支払うことに決定した補償金額に相当するものである。この補償は、寛大な措置でもある。（今回の障害で）実際に補償として支払われねばならない金額は、1ユーザーにつき41セントに相当する。 Googleは、Google Apps Premiere Editionで1ユーザーにつき年額50ドルを支払っている顧客に対して、毎月99.9％以上の稼働率で、Gmailへのアクセスを保証している。Google Appsのサービス提供基準などを定めたService
au携帯電話の一部機種で誤請求，対象は1万6851回線で総額約1672万円
KDDIと沖縄セルラー電話は2008年11月25日，au携帯電話の一部機種で料金の誤請求が判明したと発表した。携帯電話のソフトウエアの不具合が原因で，実際には利用していないにもかかわらず，パケット通信料と「au.NET」の月額利用料を請求していたケースがあったという。対象は1万6851回線で，2006年9月21日から2008年10月31日までの間に誤請求した料金の総額は1672万543円。 au.NETは，パソコンやPDA（携帯情報端末）にau携帯電話やデータ通信カードを接続してインターネットにアクセスできるサービス。事前の申し込み手続きは不要で，利用月だけ945円の利用料とパケット通信料を請求する。請求書には「au.NETのご利用料金」と表示しているという。 一部機種で見つかった不具合は，特定の条件でau携帯電話からパケット通信を利用した際に，ネットワーク設備へ誤った接続情報を通知してし
吉本興業、個人情報流出の詳細を公表 「ログの一覧表示の許可が原因」
吉本興業、個人情報流出の詳細を公表 「ログの一覧表示の許可が原因」：流出件数を1万2889件に修正 インターネット上に個人情報が流出していた事故について、吉本興業が詳細を公表した。セキュリティ対策の不備に加え、コンテンツのログファイルの一覧表示を許可していたことが最大の流出原因だったとコメントしている。 吉本興業は11月21日、グループ企業が保有する顧客の個人情報がインターネット上に流出していた事故について、発生状況の詳細を公表した。 流出した個人情報は1万2889件で、11月12日に発表した1万5836件とは違う数値になった。流出情報を精査したところ、重複や登録の不備があった情報が多数あった。今回発表した件数は、これらの情報を総件数から差し引いたものになる。 流出の原因は、吉本興業が利用しているサーバの1つのセキュリティ対策が不十分だったこと。管理会社がサーバを移管する際に、休止している
2008-11-12
アイデアを検討しました 1000株に達した以下のはてなアイデアを検討いたしました。ご要望、ご指摘いただいたユーザーの皆さま、ありがとうございました。 はてなアイデア 検討 調査・検討します はてなアイデア 検討 修正します はてなアイデア 検討 修正します はてなアイデア 検討 修正します はてなアイデア 検討 確認します はてなアイデア 検討 確認、改善します ログインしている本人以外のポイントや質問一覧が表示される不具合について 本日、19:56から21:23の間に、ログインしている本人以外のポイントや質問一覧ページが表示される不具合が発生しており、修正いたしました。 19:56ごろ、人力検索はてなの負荷対策のため、ログインしていないゲストユーザーのページをサーバー側で一時的に保存・表示するようサーバー設定を変更いたしましたが、一部設定ミスがあり、ログインしているユーザーのアクセスした
［続報］楽天証券が復旧、突き抜けたバッチを再実行
ネット証券の楽天証券で11月11日早朝から発生していたシステムトラブルが同午後0時45分復旧した。米国株式を除く全商品の取引ができなくなったが、値段指定が通常と逆の「逆指し値」の機能以外は使えるようになった。 トラブルを起こしたのは前日までのデータの夜間バッチ処理である。楽天証券によると、11日午前2時40分に開始したバッチ処理が、何らかのトラブルで同午前3時30分に停止。このため同日午前6時からのサービスが開始ができなくなった。その後午前中にバッチ処理を再度実行し、サービスの再開にこぎつけた。 システムやバッチの修正内容や根本原因については「現時点で復旧とその対応を優先しており、お話できない」（楽天証券）としている。
［速報］楽天証券が取引停止中、「バッチ突き抜け」で見通し立たず
楽天証券でシステムトラブルが発生し、早朝のサービス開始から米国株式を除く全商品の新規発注と訂正注文、取消注文ができない状態となっている。同社によると11月11日午前10時時点で「原因の究明とサービス再開に全力を尽くしているが、復旧の見通しが立っていない」としている。 トラブルを起こしているのは、前日までのデータを処理する夜間バッチのシステムとみられる。通常夜間から未明にかけて処理が終了し、午前6時にサービスを再開する。これが何らかの原因で大幅に遅れ、いわゆる「バッチ処理の突き抜け」が起きている。 復旧に向けて一部サーバーを再起動するため、11日の午前中はサービスへのログインができなくなったり接続が切れる場合があるという。
JCBの新基幹システムに障害発生 | スラド
この11月3日から移行・本格稼動が始まるとされていたJCBの新基幹システムであるが、一筋縄ではいかなかったようだ。 11月4日には会員向けWeb窓口サービスであるMyJCBがリニューアル・サービスインする予定であったが、開始直後に「過負荷」でシステムダウン。翌5日未明まで全く利用できない状態に陥った。もっともこの間も通常に与信などは行われていたとのことであり、これだけであればリニューアルしたWebシステムの問題ということで済んだのであろうが、5日午後には基幹系の一部もダウン。キャッシングが利用不可能、未確認であるが一部ショッピング与信にも障害が発生している模様である。(編注：その後、障害から復旧した旨の報道有り) 想像であるが、おそらく今現場は大騒ぎになっていることであろう。システム開発、関係者には心よりお見舞い申し上げ、ユーザーの一人として一刻も早い回復を祈るのみである。
ＪＣＢでシステム障害、６時間余キャッシング利用できず : 社会 : YOMIURI ONLINE（読売新聞）
５日午後３時４０分ごろ、クレジットカード大手「ジェーシービー（ＪＣＢ）」のオンラインシステムに障害が発生し、６時間余にわたって同社のカードを使って現金自動預け払い機（ＡＴＭ）で現金を借りることができなくなった。 カードによる支払いに影響はなかったという。 同社によると、１日〜３日に大幅なシステム変更を実施したという。同社ブランドのカード会員は延べ約５５００万人。同社には数十件の苦情があった。
「ヨドバシ・ドット・コム」がリニューアル直後から表示が遅すぎて激重になる大規模障害が発生、一体何が起きているのか？ - ライブドアニュース
の公式サイト「」が2008年10月21日（火）にリニューアルされました。個人的な感覚では「使いにくく、見にくく、お目当ての商品が探しにくく」なって改悪されたように感じられていたわけですが、それどころかあまりにも表示が遅すぎて激重になり、なんとお詫びページまで作られるほどになってしまいました。 そして既にリニューアルから1週間が経過したものの、いまだに改善されておらず、一体何がどうなっているのかよくわからない状態で、どれぐらいの損失が発生したのかが非常に気になります。何が起きているのでしょうか？ 戦慄の実態は以下から。 まず発端は10月21日（火）。リニューアル直後から重くなり始め、ついにはタイムアウトを連発。たまたまこの日は前日にヨドバシ・ドット・コムから「ポイント残高失効のお知らせ」が届いていたため、ポイントでLANケーブルを買おうと思っていたのですが、あまりの重さにあきらめました。ちょ
「今までにないタイプのSQLインジェクション」――ゴルフダイジェストへの不正アクセス手口が判明
ゴルフダイジェスト・オンライン（GDO）への不正アクセスは，同社データベースへのSQLインジェクション攻撃であることがわかった。 GDOでは，同社Webサイトを構成するデータベースの一部が不正アクセスを受けたとして，2008年10月2日からWebサービスを全面的に停止していた（関連記事）。攻撃の具体的な手順は明らかにしていなかったが，「今までにない新しい手法のSQLインジェクションだった」（同社広報）という。なお，最近セキュリティ・ベンダーからCookieを悪用した新手のSQLインジェクションについて警告が出ている（関連記事）が，この件との因果関係については「コメントできない」（同社広報）としている。 この攻撃の影響で，GDOの配信メールの一部に不正なURLが埋め込まれ，URLをクリックしたユーザーはマルウエアに感染する危険性が生じた。「URLを埋め込まれた可能性のあるメールは，2008年
楽天、メールマガジンの89人分の登録者情報が丸見え状態に
画面2●閲覧可能になってしまった楽天のメールマガジンの「登録情報の確認・変更・配信停止」画面。氏名や生年月日が丸見えになった利用者も 楽天が発行するメールマガジンの登録者の情報が検索エンジンを通じて閲覧できる状態になっていたことが1日までに分かった。顧客が登録しているメールマガジン名のほか、メールアドレスや氏名など89人分の個人情報である。 顧客がメールマガジンの配信内容を変更できる「登録情報の確認・変更・配信停止」という画面がある。顧客ごとに異なるURLを持ち、本来検索対象になるはずのないこの画面が、検索エンジン「グーグル」の検索対象となってしまい表示されてしまった。具体的には、「グーグル」で、メールマガジンを発行するサーバーを指定して検索すると「【楽天市場】楽天のメルマガ」というタイトルページが大量に検索結果として表示される（画面1）。検索結果をクリックすると、登録しているメールマガジ
トラブル原因の半分が「うっかり」：ITpro
「ミサイル発射情報、当地域にミサイルが着弾する恐れがあります」。6月30日午後4時37分、福井県美浜町全域に緊急放送が響き渡った。 原子力発電所が狙われたのか─―。屋外の防災無線58基からの「誤報」に、住民は一時騒然となった。 誤報は、津波や地震、ミサイル発射などの緊急情報を全国の市町村に送る消防庁の「全国瞬時警報システム（J-ALERT）」を通じて伝わった。美浜町の職員が消防庁の指示でJ-ALERTの受信装置を修理した直後だ。 原因は、動作確認に使った試験用の警報データの消去漏れだ。受信装置に残った警報が修理後に流れた。消防庁とJ-ALERTの開発ベンダーが作成した修理手順に抜けがあった。実はJ-ALERTは「訓練です」といった音声で始まる訓練報を流せる。これなら誤って放送しても影響は小さい。ところがなぜか本物の警報を使ってしまった。 ATM障害、電車の緊急停止も 美浜町のケースは他人事
高島屋が“21番目の店舗”の開店をシステム障害で延期
高島屋が国内21番目の店舗として位置付ける戦略的なオンラインショッピングサイトがサービスの開始を延期した。「タカシマヤ ファッションモール」として、21日午前10時に“開店”する予定だった。 システムに不具合が発生したための措置。ファッションモールは高島屋の既存ショッピングサイトとは別サービスとして構築したが、既存サイトのユーザーIDでも利用できるようにした。このサイト間のID連携がうまく稼働しなかったという。ファッションモールの一部で商品が表示されないなど、サイト全体にも影響が出ている。 高島屋は「修復に全力を挙げて作業を進行している。今週中にはサービスを開始したい」（広報担当）と説明する。開発・運用は外部のベンダーに委託している。 タカシマヤ ファッションモールは婦人服・婦人雑貨を130ブランド、1万5000アイテムを販売する予定で、「高島屋の新宿店と同等の品揃え」がウリ。婦人服では実
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2月に障害発生の「Doblog」。5月30日をもってサービスを終了
http://neta.ywcafe.net/000938.html
ヨドバシカメラのサイトが「動かないコンピューター」状態、機会損失は既に数億円規模？ - Technobahn