fluentdを導入しました＆webサーバー上のagentが結構メモリを消費するよ - hito_asaの日記そこそこのトラフィックのあるWebサーバー上で、アプリケーションから出力されるいくつかのログファイルを収集するためにFluentdを導入しました。 セットアップはこんな感じ。 fluentdのバージョンは0.10.15, rvmが1.10.3, rubyが1.9.3p125 です。 Webサーバーは20台で、一番多いサーバーで800万req/dayくらいの規模です。 各Webサーバー上ではin_tailで3つのファイルをtailし、out_roundrobin & out_forwardで計4台の集計用サーバーに流して、そこでレコメンデーションやKPIの集計を行っています。 Webサーバー上のagentとして動くFluentdの設定ファイルはこんな感じ。 この3つのファイルは、それぞれdailyでローテートされてて、1日当たり 460万行、640万行、370万行くらいです。 起動は以下のス
