流れに乗ってnginxのログフォーマットにLTSVを採用しました。 2013/03/05リリースのfluentd-0.10.32.gemなら標準のin_tailで、format ltsvとする事でそのまま読み込めます。 proxy先からの応答時間や送出したcookieも記録する汎用的な設定です。
nginx.conf � � hU http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format ltsv 'domain:$host\t' 'host:$remote_addr\t' 'user:$remote_user\t' 'time:$time_local\t' 'method:$request_method\t' 'path:$request_uri\t' 'protocol:$server_protocol\t' 'status:$status\t' 'size:$body_bytes_sent\t' 'referer:$http_referer\t' 'agent:$http_user_agent\t' 'response_time:$request_time\t
続 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - たごもりすメモ
前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場 最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 jemallocについてはこのあたりを読むといいんじゃないでしょうか(自分で説明するのはめんどくさいｗ) jemallocとかLD_PRELOADについて調べてみた - As a Futurist... 結果、ピーク時間帯になっても used 6GB に行かないくらい。ワーイヤッタヨー。 ということでjemallocは社内用rpm*1を用意し fluentd 起動用のshファイル(supervisordからこれを指定して起動している)を以下のようにした。LD_PRELOADを加えただけ
リダイレクトの警告
表示中のページから https://blog.tnmt.info/2012/10/19/about-fluentd-out-file-plugin/amp/ にリダイレクトしようとしています。 このページにリダイレクトしないようにする場合は、前のページに戻ってください。
BufferedOutput pluginの代表的なoptionについて - Qiita
こんにちは、こちらはFluentd Advent Calendar 6日目の記事となります。 このところBufferedOutput系のpluginのoptionについて質問されることが多かったので、せっかくですのでつらつらとここで紹介していこうかなと思います。なお、コードはfluentd v0.10.55です。 optionの挙動を把握するためにまずはfluentdが受け取ったレコードをどう処理していくのかを紹介し、その後fluentdの処理方法を踏まえて各optionを紹介していきます。 レコードの流れ はじめに、レコードを受け取ってからどう処理されてoutputされていくか簡単にレコードの処理を順を追って紹介いたします。 ① レコードを受け取りbufferingする input pluginがレコードを受け取ると、Engineを介してそのレコードのtagにマッチするoutput pl
#fluentd fluentdでcsvファイルのログをin_tailで読むconfig - oranie's blog
そのまま。5カラムあるなら こんな感じ。カラムが増えたら適当に足せばOK。メモでした。
flunetd、forward先がダメだった時にforward元である程度ログを担保したい · さよならインターネット
April 1, 2014 fluentdのbufferとforwardについて調べたのでメモ。 fluentd v0.10.45 追記( 04/02 00:27) @kenjiskywalker flushしようとしてできなかったbufferにもlimitまで溜まるから、1kbのbufferが128個で限界にはならないような気がしますが — fujiwara (@fujiwara) April 1, 2014 @fujiwara 今手元で試したんですけどflush_interval関係なさそうですね。普通にflush_interval 1s buffer_chunk_limit 10とか指定してもそれ以上のbuffer保持してました — kenjiskywalker (@kenjiskywalker) April 1, 2014 @tagomoris @fujiwara なるほど〜！ —
fluentdでsyslog受信しようとしたらハマった - blog.youyo.info
スイッチとかのログを集めようと思って下記のような設定をしてテストしてみるも、エラーを吐いてうまくいかない。 <source> type syslog port 514 bind 192.168.21.1 tag network1 </source> <match network1.local0.*> type file buffer_type file path /var/log/td-agent/test.log compress gzip </match> 2014-11-14T19:40:31+09:00 fluent.error {"error":"invalid time format: value = 'administrator' succeeded for, error_class = ArgumentError, error = invalid strptime form
syslog Input Plugin | Fluentd
The in_syslog Input plugin enables Fluentd to retrieve records via the syslog protocol on UDP or TCP. Table of Contents Example Configuration Example Usage Plugin helpers Parameters @type (required) tag (required) port bind protocol_type frame_type message_length_limit format <parse> directive message_format with_priority source_hostname_key source_address_key priority_key facility_key TCP protoco
いまさらだけど fluentd に入門した - えいのうにっき
仕事で僕が担当してるプロダクトでも、「そろそろ fluentd を...」という話題が出始めた。 社内の別プロダクトでは既に導入されてるものもあったりして、たぶん会社的にはノウハウも溜まり始めてきてるとは思うんだけど、なにせ僕自身が fluentd について雰囲気しかわかってないままだったので、それじゃイカンなと、いまさらだけどようやく fluentd に入門した。そのついでにメモった内容を晒す。 入門前のイメージ みんな「アプリは何も考えず、とりあえず fluentd に投げとけば幸せになれる」って言ってる なので、そういう感じの存在なんだろうな fluentd は、くらいの理解しかない 具体的にどう幸せになるのかはあんまり想像が付いてない "d" がついてるので、デーモン的な何かかな？ ロゴがイカしてる くコ:彡 ゴール 実際に導入するとなったら具体的にどんなことをしなければいけないの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/uken/fluent-plugin-elasticsearch/blob/master/README.md
GitHub - tagomoris/fluent-plugin-forest