hadoop datanode 縮退時に replication 数以下にまで落としたらちょっと困った件 - PolyPeaceLight

とある開発環境のhadoopクラスタの規模を小さくする時にちょっと詰まった。 通常は増やすこととか減らしたとしても壊れたからとかスペックがあれなんで外す、ってことだと思うけど、バラすまでやってみた。レアなケースな気はするのでメモっておく 具体的に言うと node数がreplication数より小さくなった時にwarnがでる replication数を小さくする目的で hadoop dfs -setrep -w すると応答がものっそい遅い 1. /etc/hadoop/conf/hosts.excludeに取り外すマシンを追記するとStatus : Decommissionedになってreplicationが走りだす。 この時replication数よりもdatanodeの数が小さくなるまで追記すると /var/log/hadoop/hadoop-hadoop-namenode-YYYY.2

[muddydixon]

レプリケーション数よりもクラスタを小さくするときに出る現象をまとめておいた