半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

サイボウズ・ラボの光成です。 今回は原因究明に半年以上かかったバグ調査の紹介をいたします。 弊社はクラウドサービスcybozu.comを提供しています。 クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。 現在ラボの星野がメイン、私はサブとして弊社サービスでの利用を目指した次期バックアップシステムWalB（GitHub）を開発しています。 WalBは、ファイルシステムとdiskの間に入ってIOを全て記録するブロックデバイスとIOのログを管理するツールからなるシステムです。 詳細はリンク先をごらんください。 発端 去年はラボ内の開発環境でテストを進め、本社でテスト運用を開始するのが目標でした。 ところがラボでテストを開始して4カ月後の2015年4月、不正なlogpackが検出されました。 logpackとはWalBで用いられるデータフォーマットの一つです。

[Rinta]

素晴らしい記事だった。で、どこのRAIDコントローラ？w

[koemu]

数年前だけど、RAIDのフラッシュ時にデータが消える症状が出て、メーカーの情報を見たらCriticalレベルのパッチが出てたという経験をしたことがある。

[niship_0822]

差し支えなければRAIDコントローラの詳細教えていただきたいですね

[bamch0h]

RAIDは「レイド」って読むんだよ！「つRAID」ってダジャレは「つらい」に掛っているようでかかってないからね！

[katzchang]

大変な仕事だ

[smita]

よく原因究明できたな。流行ってないサービスだったりすると発覚すらしないレベルの不具合だし、やっても謎のおまじないパッチ（リトライとか）あてて見なかった事にできたかもしれないのに。

[Lat]

"安易に他人のせいにするわけにはいきませんでした。"ほんとこれ。安易に他人のせいにすると迷宮入りするし、そういうよく調べずに決めつける人に限って優秀な人はいないし。／良くこんなバグを見つけ出せたな－。

[todo987654321]

ちなみに上の人が技術的困難度に理解があると精神的辛さは激減します

[NOV1975]

昔どうやっても原因がわからない障害がひょんなことからSCSIドライバのバグだってことが判明した仕事があったなあ

[ozuma]

周りを見回すと、「RAIDのおかげで助かった」ことより、「RAIDコントローラのせいでヒドい目に遭った」っていう人の方が多いという実感はある。

[moerrari]

RAIDコントローラの不具合

[wkubota]

よく突き止めたなぁ。これ系のバグはここが怪しいというところまで調査したら怪しい箇所全部へ対処して終わることが多い（狭い観測範囲）ので執念がすごいし、時間をかけられる周囲の理解もすごい。

[key_amb]

ハード絡みで再現性低いとつらい。

[progrhyme]

ハード絡みで再現性低いとつらい。

[richard_raw]

RAIDコントローラの不具合……、これは辛い。お疲れ様でした。

[vanbraam]

下位レイヤーは本当に大変;WallBはDigital Forensics用途にも使えそう

[ladyjanymo]

信頼性を上げようとRAIDを使う人がいるがこれは逆。RAID使えば間にコントローラーが入るので信頼性は逆に落ちる。そして壊れる時は最悪全DISKが死ぬ。

[DustOfHuman]

はずRAID

[arajin]

「複数同時にデータ書き込みを行うと、その書き込みが完了したのに、そのデータが実は書き込まれずにロストすることがあるというRAIDコントローラの不具合だとわかりました。 」

[W53SA]

「複数同時にデータ書き込みを行うと、その書き込みが完了したのに、そのデータが実は書き込まれずにロストすることがあるというRAIDコントローラの不具合だとわかりました。」何処のコントローラだろう

[side_tana]

わあ

[nilab]

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

[shiwork]

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ 熱い。解決して良かった

[dekaino]

問題の切り分けが大事

[napsucks]

mdはその点きわめて枯れてるソリューションだが、パフォーマンスや拡張性、冗長性の点ではHW RAIDコントローラや専用ストレージヘッドに軍配が上がるので痛しかゆし。

[muddydixon]

すごいなぁ

[gikazigo]

RAIDコントローラの不具合: 半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

[craf]

つらそう

[natu3kan]

バグが低頻度だと何が条件か絞り込むのが大変そう。Raidコントローラーにも冗長性を！（混乱

[RPM]

初期不良を引いたときとかによく感じるんだけど、再現性が低い不具合が一番困るんだよな……。壊れてるなら最初から動くなよ、という。

[damedom]

コントローラのベンダにお金もらおう

[a96neko]

ハードよ絡んだバク調査はやりたくないな

[takeishi]

RAIDコントローラのバグとは

[curion]

最近RAIDで痛い目にあった

[wiz7]

記事（答え）読めばなるほど、となるけど担当者は本当にキツイ。キモは再現性向上の部分でしたね。ツール気になる

[uva]

知見だ

[lovevoiceryu]

もっと面白いトラブルがたくさんあるけど、SIだと表に出せない。

[oscdis765]

えぐい

[monochrome_K2]

HPEのサーバーはOS不安定時の原因の大半がRAIDコントローラーのバグなので何かあると真っ先にRAIDを疑うようになってしまった。。