kibanaのためにfluentdでnginxのログをelasticsearchへ送る設定例 -- ぺけみさお
はじめにnginxのログをfluentd + elasticsearch + kibanaで可視化する設定例。 nginxfluentdがnginxのログを解釈できるように、あらかじめログフォーマットを設定しておく。 今回はこちらのエントリの方法でltsv形式でログを出力するようにしておくことにする。 前提とするltsvを出力するlog_formatの設定は以下。 log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'request_uri:$request_uri\t' 'https:$https\t' 'uri:$uri\t' 'query_string:$quer
Fluentdのtypesオプションで型指定をする - 世界中の羊をかき集めて
Fluentdのin_tail機能を使っていると数値として扱ってほしいのに フィールドの値が文字列になってしまって、 fluent-plugin-typecastを使うことがあると思います。 しかし、version 0.10.42以上のFluentdであれば、 in_tailにtypesオプションという型が指定できるオプションが加わったため、 fluent-plugin-typecastを使う必要がなくなりました。 syntaxは types <field_name_1>:<type_name_1>,<field_name_2>:<type_name_2>,...です。 以下が設定例。 <source> type tail path /var/log/access.log pos_file /var/log/td-agent/access.log.pos tag access format
fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み - ようへいの日々精進XP
はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サンプル集 準備 fluentd のプラグインインストール fluent-plugin-elasticsearch elasticsearch にログを投げる為に... /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch --no-ri --no-rdoc -V fluent-plugin-typecast elasticsearch に送るデータの型を変換する為に...理由は後述。 /usr/
FluentdからElastic Searchへ投入するデータの型を変換する - Qiita
元々やりたかった事 apacheのアクセスログをfluentdで取り込んでElastic Searchに投入してKibanaで分析したい アクセスログはちょっと形式をいじってレスポンスタイムが記録されるようになっている ElasticSearchで10秒以上とか遅いアクセスを抽出したい 困った事 標準のapacheのログ形式は使えないので自前で下記の感じで正規表現を定義 <source> type tail format /^(?<host>[^ ]*) - - \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" ( ?<code>[^ ]*) (?<size>[^ ]*) (?<restime>[^ ]*) (?<resstate>[^ ]*)(?: "(?<referer>[^\"]*)" "(?< agent>
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
