Fluentd out_forward における最適化パラメータいくつかの話 - たごもりすメモ

Fluentdのデータをネットワーク経由で転送するための組み込みプラグイン out_forward には最適化のための設定がいろいろあるが、内部構造への理解がないとなかなか意味がわからなかったりするものも多い。ので、あんまりいじってる人はいないんじゃないかという気がする。 最近複数の転送先へのロードバランスを out_roundrobin ベースの方法から out_forward の機能を使った方法に切り替えてみたので、ついでにそのあたりについて書いてみる。 (おまけ) out_roundrobin と out_forward(のロードバランス)の違い out_roundrobin は event stream の emit つまりFluentd内部における最小の配送処理単位ごとに配送先プラグイン(のインスタンス)を切り替える。可能な限り細かい単位で配送先をバラけさせたいときはこちらを使う

[tagomoris]

書いた

[k0kubun]

“buffer_chunk_limit と buffer_queue_limit をかけた総メモリ使用量がマシン全体で使えるメモリ量よりも小さくなるようにすること”

[kamipo]

先輩社員に質問したらこのエントリをサジェストされたので正座して読む

[kenjiskywalker]

めちゃくちゃ参考になる

[yosuke_furukawa]

この前のhackathonでは全然わかっていないのが分かったので、ちゃんと学ぼうと思います。

[oranie]

正座して読む