そこそこのトラフィックのあるWebサーバー上で、アプリケーションから出力されるいくつかのログファイルを収集するためにFluentdを導入しました。 セットアップはこんな感じ。 fluentdのバージョンは0.10.15, rvmが1.10.3, rubyが1.9.3p125 です。 Webサーバーは20台で、一番多いサーバーで800万req/dayくらいの規模です。 各Webサーバー上ではin_tailで3つのファイルをtailし、out_roundrobin & out_forwardで計4台の集計用サーバーに流して、そこでレコメンデーションやKPIの集計を行っています。 Webサーバー上のagentとして動くFluentdの設定ファイルはこんな感じ。 この3つのファイルは、それぞれdailyでローテートされてて、1日当たり 460万行、640万行、370万行くらいです。 起動は以下のス
![fluentdを導入しました&webサーバー上のagentが結構メモリを消費するよ - hito_asaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/0c74002c874ac7b3dd98902c2e970bac7304bc7b/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhito_asa%2F20120329%2F20120329161357.png)