うるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛

※本記事ではうるう秒によるjavaの異常と、それに伴って生じたHadoop 0.21.0 HDFSのメタデータ破損からの復旧手順を説明します。なお、本復旧手順は私の環境で上手くいっただけであり、他の環境で同様の手順を行ったとしても復旧できる保証はありませんので、ご注意ください。 昨日（2012/7/1）Hadoopクラスタの一部マシンでCPU負荷が突然MAXに張り付いていることに気付きました。 今日になってこの現象はうるう秒のあとにjavaに生じた不具合であることが分かりました（参考：http://d.hatena.ne.jp/sh2/20120702、このブログの記述と同様にjavaとksoftirqdプログラムが大きなCPU負荷を占め続けていました）。 この障害が起きていたのはOSがfedora10, 13のマシン群で、他のマシンはCentOSであり不具合無く動作していました。 試行錯

[shiumachi]

コメント欄にも書きましたが、 hadoop は dfs.name.dir を複数指定(1つはNFS先に指定)すれば全て同時に壊れることはなく復旧可能です。うるう秒障害とメタデータ破壊に直接の関連はありません

[airj12]

分散したら多重化せんと障害発生率上がるしね

[houyhnhm]

またやりそうな気配を感じる。

[jt_noSke]

ふーむ

[rgfx]

Namenodeとぶとかこえーーーーーー

[slay-t]

うげ……

[syuu1228]

こわい：うるう秒によるjava障害と連動して生じたHDFSメタデータ破損からの復帰手順 - 生物物理計算化学者の雛

[Itisango]

"メタデータを過去にコピーしておいたメタデータで差し替えることで復旧することにしました。"

[tsupo]

うるう秒問題、他にもありそうだな