dfs.datanode.failed.volumes.toleratedとdatanodeのdecommission - wyukawa's diary

HDFSにはdfs.datanode.failed.volumes.toleratedという設定項目があります。defaultは0。 <property> <name>dfs.datanode.failed.volumes.tolerated</name> <value>0</value> <description>The number of volumes that are allowed to fail before a datanode stops offering service. By default any volume failure will cause a datanode to shutdown. </description> </property>内容は下記に詳しいです。 By default, the failure of a single dfs.data.dir

[yass]

"dfs.data.dirに複数のディレクトリを指定 / dfs.datanode.failed.volumes.toleratedに1を設定すると2つ以上のディレクトリに障害が発生しない限りはdatanodeは動き続け / 復旧した場合に再度そこに書き込むようにするにはdatanodeを再起動"