fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョンブログ

こんにちは。夏休みに長野に行って居酒屋で馬刺しをたらふく食べていたら 地元のおっさん人生の大先輩の絡み酒に付き合わされた祖山です。 4月に入社して以降、サーバサイドのWeb開発やスクラムの導入、サイト内検索の改善など様々な業務に 取り組んでいますが、最近の大きな案件としては、アクセスログ解析基盤の整備がありました。 nginxのアクセスログを分析しやすい環境を作るため、ElasticsearchとBigQueryにログを蓄積し始めたのですが、 その際に一番のキモとなるのは、みんな大好きfluentdです。 今回は、我々ハウテレビジョンがどのようにアクセスログを収集、保存しているのかについて、fluentdの設定を中心にご紹介します。 アクセスログ収集の目的 現在の我々のサービス環境を考慮すると、アクセスログの収集には下記2つの目的が存在します。 アクセス情報をもとにユーザーの行動を解析 閲

[crist18]

bigquery

[tamuuu]

参考になります

[stumsky]

ふむふむふむ。 fluentdでnginxのログをElasticsearchとBigQueryに保存するお話 - ハウテレビジョン開発者ブログ

[fujikawa-y]

参考にする

[ktakemoto]

これは参考になる

[asuma-slv]

フィルターしてから流す事ができるのか。