Fluentd CollectorからHDFSに書き込むのに fluent-plugin-webhdfs を利用していますが、 DataNodeが1台変死した際に色々おかしくなったので書き留めておきます。 原因特定と解決方法の確立はできていません!あしからず。 直接の原因はSLAVEサーバ(DataNode)が中途半端に落ちたこと 1台のSLAVEサーバに異常が発生したことが直接の原因であり、状態としては SLAVEサーバがKernel Panic!! ホストへのPingは通る 各種デーモンへのTCP接続は確立できる 各種デーモンは一切お返事をしてくれない 試したのがDataNodeでないのが心苦しいですが、復旧前に確認できたのはSSH接続で、 ssh -p22 host は無応答で、telnet host 22 はリクエスト待ち状態になる半死状態でした。 この状態が、Fluentdまたは
![Fluentd+WebHDFS&DataNode半死で起きた問題 | 外道父の匠](https://cdn-ak-scissors.b.st-hatena.com/image/square/35e39cda8b3814590c09261f4b5f5c3899facf5b/height=288;version=1;width=512/https%3A%2F%2Fblog.father.gedow.net%2Fwp-content%2Fuploads%2F2015%2F11%2Fthumbnail-okinawa-2013.jpg)