多段fluentd + mongodb のハマリ所 - stanaka's blog
fluentdを多段構成にして、mongodbに出力するところでハマったのでメモ。 上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongodbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。 まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongoDBへ連携する際の注意点 #fluentdを参考にしてください。 ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって
Nginxのログ(LTSV形式)をFluentd(td-agent)で処理する - Devlog
Nginxのログ(LTSV形式)をFluentd(td-agent)で処理する Mar 22nd, 2013 今運用しているプロジェクトで、ログ解析はfluentd(td-agent)とmongodbを利用しています。 最近、LTSVというログフォーマットが流行っているみたいなので、今回はnginxのアクセスログフォーマットをLTSVに変更し、mongodbで確認するところまでやってみたいと思います。 LTSVについてはこちらが分かりやすいです。 参考: LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー nginx設定 confの修正 今までは、”main”を使用していましたが、”ltsv”というタグで新しく追記します。 /etc/nginx/nginx.conf log_format main '$remote_addr - $rem
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
