HPEのサーバー向けSAS SSD、稼働32,768時間超えでデータ喪失。復旧も不可
いつものように本番作業してたはずなのに - Qiita
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の1日目です。 https://qiita.com/advent-calendar/2019/yarakashi-production なかなか濃いラインナップが期待されますが、まずはさらっといきたいと思います。 具体性が乏しい部分もあると思いますが、そこはお察しください。。。 やらかし 背景（前提条件） いっていに昔の話です ETL（データ加工）サーバ 数十を超えるシステムからデータを集める BIツールなどで活用できるように各種加工処理を行い、DBなどにロードする 繁忙の違いはあれど、24/365で常時一定量の処理は稼働している 複数のチームが共存しているサーバ アプリ面では比較的疎 ETL処理のリリース前に本番サーバ上で試験をする取り決めになっていた 性能や本番相当データのテストが安全に行えるような環境
GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 - ＠IT
GitHubが障害を総括、43秒間のネットワーク断が1日のサービス障害につながった：データベースの不整合解消に時間 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータ管理データベースの不整合を引き起こし、復旧に時間を要したという。 GitHubは2018年10月30日（米国時間）、2018年10月21日16時頃（米国太平洋時）から約24時間にわたって発生した障害に関する分析報告を、同社のブログに掲載した。これによると、ネットワーク機器の部品交換で生じた43秒のネットワーク接続断が、GitHubのメタデータを管理するデータベースの不整合を引き起こし、復旧に時間を要した
ぼくとMySQLの3日間戦争(予告編) | GMOメディア エンジニアブログ
こんにちは、DBAのたなかです。 聞いてください。 ある日、突然、MySQLが Number of processes running now: 0 130731 00:28:59 mysqld restarted 130731 0:28:59 InnoDB: Database was not shut down normally. InnoDB: Starting recovery from log files... InnoDB: Starting log scan based on checkpoint at InnoDB: log sequence number 141 925270908 InnoDB: Doing recovery: scanned up to log sequence number 141 925276705 130731 0:28:59 InnoDB: St
朝日新聞デジタル：ＳＳＤメモリーとシステムが不適合 ＪＲ九州輸送障害 - 社会
記者会見で頭を下げるＪＲ九州の青柳俊彦専務（左）＝２２日、福岡市博多区 【大畑滋生】ＪＲ九州の在来線のダイヤが大幅に乱れたシステムトラブルについて、同社は２２日、３年前に交換していた部品がシステムに合わないものだったことが原因と発表した。実際にトラブルが起きるまで、部品の不適合に気付かなかったという。 問題の部品は「ＳＳＤ」と呼ばれる大容量のメモリー。運行システムの動作の内容を記録する部品だ。 ＪＲ九州は２０１０年７月、それまで記録用に使っていたハードディスクをＳＳＤに交換。ところがＳＳＤは、運行システム全体と一部で適合しない部品だった。ＪＲ九州もシステムを納入した日立製作所も、そのことを知らなかったという。 続きを読む最新トップニュースこの記事の続きをお読みいただくには、会員登録が必要です。登録申し込みログインする（会員の方） 無料会員登録はこちら朝日新聞デジタルのサービスご紹介は
データセンター移転とDRBD - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。今回は去る 5 月から 6 月にかけて行った、cybozu.com のデータセンター移転作業について、失敗してしまったことを中心に解説します。 失敗と書いたのは、移転作業中に何度か、一部のお客様環境でストレージ高負荷による障害を起こしてしまったためです。移転作業自体はスケジュール通り進行し、6 月第二週に完了しています。障害に関しては、こちら（PDF）でお詫びとご報告をしていますが、この記事では技術面ならびに障害を引き起こすにいたった背景について詳述します。 移転に至った背景 移転方式の検討 ストレージ同期の方法 DRBD による同期の詳細 まずは自社環境を移転、成功 そして障害は発生した なぜ障害につながったのか まとめ 移転に至った背景 まず、なぜデータセンターを移転することにしたかを説明します。 端的に言うと、当時のデータセンターが手狭になり拡張
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
