多段fluentd + mongodb のハマリ所 - stanaka's blog

fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって

[stanaka]

.@kenn @repeatedly 多段fluentd+mongodbの場合は、上流のbuffer_chunk_limitも10mに抑えないといけない、という問題でした

[tagomoris]

チャンクサイズを見て分割emitするプラグイン書けばいいのでは！

[simar]

in_forward+out_mongo

[mooz]

送信側の buffer 設定チューニング

[u1tnk]

ハマったので助かりました！

[masa_matya]

多段にするとき、buffer_chunk_limitを合わせる

[oppara]

多段fluentd + mongodb のハマリ所 - stanaka's blog

[tech-kazuhisa]

ほぉ。これは覚えておこう