以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの話になります。 HDFSファイルのCREATEエラー 複数のFluentd CollectorからHDFSの1ファイルへ共通して書き込むというスタイルをとってみました。こんな感じに1分毎のHDFSファイルとして。 Collector-01 ─┐ Collector-02 ─┤ Collector-03 ─┼─> HDFS %Y%m%d-%H%M.log Collector-04 ─┤ ...
![Fluentd+WebHDFSの書き込み問題 | 外道父の匠](https://cdn-ak-scissors.b.st-hatena.com/image/square/35e39cda8b3814590c09261f4b5f5c3899facf5b/height=288;version=1;width=512/https%3A%2F%2Fblog.father.gedow.net%2Fwp-content%2Fuploads%2F2015%2F11%2Fthumbnail-okinawa-2013.jpg)