Fluentd＋WebHDFSの書き込み問題 | 外道父の匠以前に晒したFluentdからWebHDFSに対してログを流し込むフローの部分を、 少しキツ目の環境にブっこんで運用したら色々問題点がでてきたので記しておきます。 どちらかというとFluentdというよりはHDFSよりの話になります。 HDFSファイルのCREATEエラー 複数のFluentd CollectorからHDFSの１ファイルへ共通して書き込むというスタイルをとってみました。こんな感じに１分毎のHDFSファイルとして。 Collector-01 ─┐ Collector-02 ─┤ Collector-03 ─┼─> HDFS %Y%m%d-%H%M.log Collector-04 ─┤ ...
