[B! fluentd] nnnnnhisakunのブックマーク

Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは

nnnnnhisakun 2017/07/04

リンク

ApacheログをLTSV形式にする際の２つの落とし穴と対処法＋Apache＆FluentdのLTSV設定サンプル - Y-Ken Studio

ApacheのアクセスログをLTSV形式にしたいと思った方に是非お伝えしたい、私がハマった落とし穴とその対処方法、その後にApacheとFluentdの設定サンプルを紹介します。以下に1つでも該当するものがあれば、LTSVの導入メリットは高いでしょう。テクニカルな正規表現のメンテナンスに疲れた awk等のテキスト整形ツールで加工や集計を容易に行いたいログ収集ツールFluentdを使ってリアルタイム集計などを行いたい落とし穴その１「request_first_line」一般的なApacheの設定ファイルhttpd.confでは、デフォルトで以下の設定が行われています。 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined このLogFormatStringをそのままLT