nginx kibana elasticsearch fluentd 連携 - Qiita
概要 nginx のログを fluend で収集し、 elasticsearch にデータを格納。 kibana で可視化を行います。 目的 アクセス、ユーザーの属性等のログを可視化し、 サービス改善の新たな企画、施策に繋げる。 各種ツール説明 nginx -> websever apache的な kibana -> データ可視化ツール。グラフ化 elasticsearch -> 全文検索エンジン。Apache Luceneを元に作成されている。同じく Lucene が元になっているものとして solr がある。 fluentd -> ログ収集ツール。様々な input 元、 output 先を設定できる plugin が豊富。Rubyで記述されており、plugin の作成も容易 全体の流れ nginx -> fluentd -> elasticsearch -> kibana 今回は、す
kibanaのためにfluentdでnginxのログをelasticsearchへ送る設定例 -- ぺけみさお
はじめにnginxのログをfluentd + elasticsearch + kibanaで可視化する設定例。 nginxfluentdがnginxのログを解釈できるように、あらかじめログフォーマットを設定しておく。 今回はこちらのエントリの方法でltsv形式でログを出力するようにしておくことにする。 前提とするltsvを出力するlog_formatの設定は以下。 log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request_method:$request_method\t' 'request_length:$request_length\t' 'request_uri:$request_uri\t' 'https:$https\t' 'uri:$uri\t' 'query_string:$quer
Fluentdのtypesオプションで型指定をする - 世界中の羊をかき集めて
Fluentdのin_tail機能を使っていると数値として扱ってほしいのに フィールドの値が文字列になってしまって、 fluent-plugin-typecastを使うことがあると思います。 しかし、version 0.10.42以上のFluentdであれば、 in_tailにtypesオプションという型が指定できるオプションが加わったため、 fluent-plugin-typecastを使う必要がなくなりました。 syntaxは types <field_name_1>:<type_name_1>,<field_name_2>:<type_name_2>,...です。 以下が設定例。 <source> type tail path /var/log/access.log pos_file /var/log/td-agent/access.log.pos tag access format
fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み - ようへいの日々精進XP
はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サンプル集 準備 fluentd のプラグインインストール fluent-plugin-elasticsearch elasticsearch にログを投げる為に... /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch --no-ri --no-rdoc -V fluent-plugin-typecast elasticsearch に送るデータの型を変換する為に...理由は後述。 /usr/
Elasticsearchでintegerになっていて欲しいところがstringになっていた時の対処法 - Qiita
問題 Elasticsearch, Fluentd, Kibanaの構成を作り、apacheやapplicationのログを送るシステムまでは完成させたのだけれど、kibana上でdashboardを作っていた時に、apacheのresponse timeや、データサイズのfieldが上手くソートできない問題に遭遇。 stringで見てるっぽいなーってとこまではわかっている状態。 調査 とりあえず、mappingのrequestを投げるためにindexの名前とかを知りたい。 $ curl -XGET http://localhost:9200/_cat/indices?v health status index pri rep docs.count docs.deleted store.size pri.store.size yellow open tarr-1970.01.01 5 1
FluentdからElastic Searchへ投入するデータの型を変換する - Qiita
元々やりたかった事 apacheのアクセスログをfluentdで取り込んでElastic Searchに投入してKibanaで分析したい アクセスログはちょっと形式をいじってレスポンスタイムが記録されるようになっている ElasticSearchで10秒以上とか遅いアクセスを抽出したい 困った事 標準のapacheのログ形式は使えないので自前で下記の感じで正規表現を定義 <source> type tail format /^(?<host>[^ ]*) - - \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" ( ?<code>[^ ]*) (?<size>[^ ]*) (?<restime>[^ ]*) (?<resstate>[^ ]*)(?: "(?<referer>[^\"]*)" "(?< agent>
プロダクション環境でElasticsearch+kibana(fluentd)でログ可視化運用をしてみてわかった事 - shnagaiの日記
これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれからやる人はここに気をつけた方がいいというような内容になってしまったので、既に運用されている方にはあまり役に立たないかもです。。 内容は、大きく下記3つです。 ①集計(検索)の条件を考えてtemplateでnot_analyzeを指定しておく ②スキーマ変更があるindexは、日単位でindex作るべし ③数値型フィールドの罠(Fluentd寄りの話) 前提として、この流れで収集しているのは下記4パターンのログ達。 ・Apache accesslog ・Apache errorlog ・Ap
今日から始めるfluentd × Elasticsearch × kibana - カジュアルな解析・高速化 - Eureka, Inc.
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
