HDFSでMissing blocksが出た場合、DataNodeに問題があって外したい場合の対応メモ - たごもりすメモ
手元でちょっとやったのでメモっとく。 Missing blocksが出た場合 HDFSのブロックが読めなくなることがある。手元ではHoop Server経由でappendが高頻度で発生している状況で、さらにHiveのクエリ実行が重なって派手にiowaitが出たときに起きた。 こうなると、そのブロックを含むファイルをMapReduceジョブが読みにいったときにIOErrorでコケてどうにもならなくなる。 状況は以下のコマンドで確認できる。 $ hadoop dfsadmin -report Configured Capacity: 35339596017664 (32.14 TB) Present Capacity: 33745796892986 (30.69 TB) DFS Remaining: 13764055724032 (12.52 TB) DFS Used: 19981741168
Linux 起動時に UNEXPECTED INCONSISTENCY で起動しない場合の対処方法
えーっと・・・個人的には VMware まわりで何度かこのエラーに遭遇しているわけですが・・・ ホストのおたんちん Windows が VMware 起動中にまるごと落ちてくれたりすると VMware 側の Linux ファイルシステムに以上がでることがたまにあります。まぁイメージ的には電源をいきなりオフにするような感覚ですから。 で、ファイルシステムに整合性がなくなった状態になると Linux 起動時にエラーで止まります。ext3 とか使っていてジャーナルファイルだけで何とかなる場合には自動修復して起動するわけですが、より派手に壊れるとダメなわけです。 Your system appears to have shut down uncleanly Press Y within 3 seconds to force file system integrity check... Checki
Linux Force fsck on the Next Reboot or Boot Sequence - nixCraft
How does fsck force work at every boot on a Linux? On a Debian or Ubuntu Linux /etc/init.d/checkfs.sh (or /etc/init/mountall.conf on a Ubuntu LTS v14.04+) is used to run fsck command if /forcefsck. Check the /etc/init/mountall.conf file, for example the file from Ubuntu 14.04 LTS script . /etc/default/rcS || true [ -f /forcefsck ] && force_fsck="--force-fsck" [ "$FSCKFIX" = "yes" ] && fsck_fix="--
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to fix corrupt HDFS FIles
Fix Under-replicated blocks in HDFS manually
Hadoop lucene-users - Cannot obtain block length for LocatedBlock
ext3_dx_add_entry: Directory index full!
