はじめに 色々、テストをしてみてる結果をまとめてみた。 検証は、自分がやっている訳ではないので、検証結果からのまとめ。 あと、公開出来ない部分もあったるするので、若干、整理しきれてないけど その辺は、また、修正出来るかな。 以下の感じで繋がっている。 td-agent --> td-agent out_webhdfs ---> HDFS ZeroMQ_pub ---> Subscriberここまでのチューニングで、上記の2つのPluginが、ボトルネックになるという事がわかった。 ZeroMQ_pubは、Aggregatorに仕込んであり、情報が見たい時に、自由に件数などを見れる様にしているらしい。 ということで、以下、チューニング。 チューニング zmq_pubについて zmq_pubは単一スレッドで動いている。その場合、fluentdがflushできるのは1秒間に1チャンクのみ。 従っ
![fluentdのちょっとしたチューニングの代理の報告 - Guutaraの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/837434923ea14b261ff48decbb1e40c157c24bbb/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FG%2FGuutara%2F20140331%2F20140331012546.png)