半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ
サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。 弊社はクラウドサービスcybozu.comを提供しています。 クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。 現在ラボの星野がメイン、私はサブとして弊社サービスでの利用を目指した次期バックアップシステムWalB（GitHub）を開発しています。 WalBは、ファイルシステムとdiskの間に入ってIOを全て記録するブロックデバイスとIOのログを管理するツールからなるシステムです。 詳細はリンク先をごらんください。 発端 去年はラボ内の開発環境でテストを進め、本社でテスト運用を開始するのが目標でした。 ところがラボでテストを開始して4カ月後の2015年4月、不正なlogpackが検出されました。 logpackとはWalBで用いられるデータフォーマットの一つです。
%E8%87%AA%E5%AE%85%E3%81%A7%E5%A4%A7%E5%AE%B9%E9%87%8F%E3%82%B9%E3%83%88%E3%83%AC%E3%83%BC%E3%82%B8%E3%82%92%E9%81%8B%E7%94%A8%E3%81%99%E3%82%8B
前回 RAID に関するちょっとした話を書きましたが個人が巨大なストレージを運用するにあたって得られたノウハウをだいたい全部書いておきます。 そもそもメリットあるのか？ メリットはあります。金です。 Google Drive は安いですが、それでも 1TB 月 1000 円です。しかし運用にかなり制限がでます。柔軟に使える Amazon Web Service ならその 3 倍+転送量課金です。 16TB だと月 5 万円もかかってしまいます。ちなみにもっとも柔軟に使える EBS だと 16TB で 83000 円ぐらいです。 Google Compute Engine の低冗長性ストレージは S3 より少し安かった気はするけど別にとても安いわけではなかったと思う(よく覚えていないし調べるのがめんどくさい)。 50TB のストレージを Google Drive でごまかしごまかし運用したと
DMM inside
“爆速” 導入の舞台裏！デジタル庁が提供する「デジタル認証アプリ」の活用で実現「安全で簡単な本人確認システム」
AWS RDS の書き込み性能チューニング : DSAS開発者の部屋
4/25追記: innodb_support_xa=0 はクラッシュ時以外にも binlog と innodb の整合性が取れなくなる問題がありました。 innodb_support_xa と binlog の危ない関係 もご覧ください。 KLab でも最近は AWS を使ったプロジェクトがかなり増えてきました。 AWS で問題になりがちなのが、 RDB の性能が DSAS 環境に比べて低いことです。 DSAS ではバッテリーバックアップ付きのRAID + 非同期レプリケーションを使っているのですが、 RDS では Multi-AZ を使って耐障害性を確保しています。 この違いによって書き込み性能のチューニングのポイントが変わってきます。RAIDカードはデータが書き込みバッファに乗っている間は fsync が高速なのに対して、 Multi-AZ では別のAZにあるブロックデバイスに対して同
最新のSSD5機種とRAIDカードのパフォーマンス検証 - 元RX-7乗りの適当な日々
少し時間が経ってしまったのですが、今年の夏頃に書いた検証レポートを公開します。 最新の機種と書きつつ、昨年のモデルのSSDが1つ混じっていたりなど、突っ込みどころはあるのですが、何かの参考になれば幸いです。 はじめに 昨今、記憶媒体装置の1つであるSSD(Solid State Drive)は、コンシューマー/エンタープライズを問わず、かなり普及してきている。 価格対容量のコストパフォーマンスや容量そのものに関しては、ハードディスクにかなわないものの、SSDの高いI/O性能(特にランダムアクセス)は非常に魅力的であることと、特に、低容量のもの(120GB以下等)であれば1万円以下で購入できる時代となってきており、コスト面に関しても手を出しやすくなってきている。 ところで、弊社のサービスで利用されているディスクの多くは、SATA/SASのハードディスクを利用しているケースが多い。 中には、F
備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS : 404 Blog Not Found
2011年06月19日23:30 カテゴリTipsiTech 備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS HP ProLiant MicroServer ヒューレット・パッカード Amazonで24,800円だったので半周遅れぐらいで買ってみた。 いいね! コバQことCobalt Qube復活した感じ。 とはいえ、ある程度工夫しないとFreeBSD + ZFSでは使いづらい。半周遅れだけあって、すでに先人の苦労の後を追検証していくだけでよかったのだけど。 hp proliant microserver freebsd - Google 検索 追加部品 PC3-10600 DIMM 4GB x 2枚セット 8GBで6000円ちょっと?そんな価格で大丈夫か? USBメモリ(高速タイプ) これが起動「ディスク」。右のようにして使う。8GBがちょうど
RAIDレベルの話: 1+0と6はどっちが安全か？ - たごもりすメモ
仕事でちょっくら12台のHDDを使ったRAIDアレイを組むんだけど、その折にちょうどTwitterで「RAID-1+0にしないとRAID-6とか怖くて使えませんよ！」というウソ八百な内容のWebページのURLを見掛けたので、いいかげんそのような迷信が消え去ってもよかろうと思って書くことにした。 1重ミラー設定のRAID-1+0は安全性においてRAID-6に劣る。ただし、正しく運用されている場合に限る。*1 知っている人はずっと前から知っている事実ではあるんだけど、某巨大SIerなんかでも高い方が安全に決まってる的な残念な脳味噌の持ち主がいっぱいいて「いやあデータの安全性を考えるとRAID-1+0」とか考えもなしにクチにし、そっちの方がディスクがいっぱい売れて嬉しいストレージベンダーもニコニコしながら否定せず売りつけて去っていくといううわなにをす(ry まあそんな感じで。ちなみに正しくない運
個人ユーザーこそ使ってみよう──RAIDより簡単なストレージアレイ「Drobo」の実力検証（前編）
データロボティクスの「Drobo（ディー・ロボ）」シリーズは、"ストレージ・ロボット"を意味する名称が付けられたストレージ機器だ。ロボットは一般的に作業を手伝う機械のこと。このDroboによってストレージ管理はどのくらい楽になるのか。今回はDroboシリーズのうち、USB 2.0／eSATA／IEEE1394対応の「Drobo S」とギガビットLAN対応のNAS「Drobo FS」を導入し、その使い勝手を検証する。 足りなくなったら「ベアHDDを買い足すだけ」：簡単拡張ストレージ「Drobo」のデータロボティクス、日本市場に本格参入 Droboシリーズは、データ保護機能を備えつつ、複数のHDD（3.5インチのSerial ATAドライブ）を装着して運用するHDDストレージアレイだ。3.5インチベイを4～8基備え、装着した複数のHDDを1つの大容量ボリュームとして利用できることに加え、内蔵し
HDDは突然壊れる ２年使ったら新品交換しろ : 暇人＼(^o^)／速報
HDDは突然壊れる ２年使ったら新品交換しろ Tweet 1：シナリオライター(茨城県)：2010/08/07(土) 06:19:46.36 ID:teVQMfgM● 「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた 複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが 故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用い られているだけでなく、最近では市販の外付けのハードディスクにも採用されており、 個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ 大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 ■大容量時代のバックアップのとり方は？ みなさん保
「RAIDを過信してはいけない」、データのバックアップやRAID復旧についてHDDのプロに聞いてみた
複数台のハードディスクを組み合わせて利用することで、万が一ハードディスクが故障してもデータを失わずに済むといわれる「RAID」は、企業のシステムに広く用いられているだけでなく、最近では市販の外付けのハードディスクにも採用されており、個人でも使う機会が増えてきました。 これらのシステムを利用してテラバイト級のデータを保存しているデータ量が大きければ大きいほど、故障すると大量のデータが失われてしまう危険性があるわけですが、どの様にバックアップをするのがいいのでしょうか。 より確実にバックアップをとるコツや、万が一の際にはどう対処すればよいのかを、過去１万台以上ものRAID復旧の実績を持つデータ復旧専門会社「日本データテクノロジー」の内部に潜入し、技術者の方々にいろいろと聞いてきました。 詳細は以下から。データ復旧|PC・サーバー・RAID機器のハードディスク復旧ならデータ復旧.com 日本デー
究極の超高速システムをSSD24台で実現した驚愕のムービー
サムスンがSSDのPRの一環で、台数24台・総容量6TBのSSDを積んでどれだけのパフォーマンスが得られるのか実験したムービー。あまりの爆速ぶりに一瞬目を疑ってしまいますが、このムービーを見た後に自分のパソコンと比較してしまうと、何だか悲しい気分になってしまいそうです。 ムービー再生は以下より。 今回利用するSSDはなんと24台 その容量はなんと6TB これが設計図。 SSD以外のパーツをかき集め… 制作開始 24時間かけて完成 すさまじい数のSSD 転送レートはなんと秒速2GB以上！！ Microsoft Officeのすべてのプログラムを開くのにかかる時間はわずか0.5秒 すごい…爆速でプログラムが開いていく… 53個のプログラムを開くのにかかった時間は、わずか18秒ちょっと デフラグも爆速 1秒足らずで700MBのDVDをリッピング 超高解像度のゲームも問題なく動作します この驚異的
RAID - Wikipedia
信頼性について検証が求められています。確認のための情報源が必要です。（2010年4月） 独自研究が含まれているおそれがあります。（2010年4月） RAID（Redundant Arrays of Inexpensive Disks、または Redundant Arrays of Independent Disks、レイド）[1]は、複数台のハードディスクを組み合わせることで仮想的な1台のハードディスクとして運用し冗長性を向上させる技術[2]。ディスクアレイの代表的な実装形態で、主に信頼性・可用性の向上を目的として用いられるものである。バックアップと混同される場合もあるが､RAIDはあくまでも運用に対しての冗長性を確保するものでありバックアップとは異なる点に注意が必要｡ 本記事において、「装置」という語句を用いるが、これはRAIDが取り付けられる機器（サーバ・ワークステーション・パソコンな
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
