KibanaとGrafanaの比較 - Qiita
背景 KibanaはElasticsearch、GrafanaはGraphite or InfluxDBを主にバックエンドとしてWebブラウザで動作するダッシュボードツールです。GrafanaがKibanaを参考に作られたそうなので、見た目などは似ており、任意のWebサーバで動作する（python -m SimpleHTTPServerでもOK）ように作られています。これの関係でGrafanaを試してみたところ、やはりKibanaも試してみようという意欲がわき1日ぐらいいじってみたのでその比較です。それぞれKibana 3.1.1、Grafana 1.8.1を使用してみました。使い込みが足りずに機能が把握できていないかもしれないので、ツッコミ歓迎です。 差がでていると思われる部分 インタラクティブ性 KibanaはQueryとFilteringという2つの項目がインタラクティブに入力、結果
Fluentd+Elasticsearch+kibanaを使ったログ可視化(part1) - Qiita
はじめに ログの可視化をしたいと思い立ち、いろんなサイトを参考にして、まずはサーバの構築をしてみることにしました。 ということで、まず第一弾はサーバの構築をやっていきます。 構成 サーバを２台作ります。 サーバ１号機は、クライアントとして。サーバ２号機はサーバとして利用することとします。 サーバ１号機にはFluentd、サーバ２号機にはFluentd/Elasticsearch/kibanaをインストールします。 ざっくりはこんな感じ 環境 使用した環境は以下の通り。 HostOS version
elasticsearch5 + kibana5 + logstash5 をdockerで動かす - Qiita
es: image: elasticsearch:5 ports: - "9200:9200" - "9300:9300" volumes: - ./es_config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml - ./es_data/:/usr/share/elasticsearch/data/ environment: - ES_JAVA_OPTS=-Xms512M -Xmx512M ki: image: kibana:5 ports: - "5601:5601" links: - es environment: - ELASTICSEARCH_URL=http://es:9200
JMeterの実行結果CSVデータをローカルMacにたてたElasticsearchとKibanaで可視化する | DevelopersIO
「JMeterの結果CSV、216万行か〜。これくらいだったらJMeterの「グラフ表示」で読み込んで見られるかな〜」 CPU「ブオオオオオオオオン！」 はじめに システムの負荷試験において、Apache JMeterのようなツールを使って試験を実施・結果を出力するケースもあると思います。結果ファイルのサイズがそれほど大きくない場合は、全データを計算する（JMeterでいう「統計レポート」）で問題ありませんが、例えば、長時間負荷をかけたので時系列でデータをグラフ化したい、といったことになると事情が変わってきます。JMeterの結果CSVは手元にあるので、なんとかこれを活用したいところではありますが、数百万行レベルのデータになると、とたんにExcelなどでは辛くなります（というか最大行数的に無理な気がします）。 そこで、ちょうど、弊社木戸がElasticsearchシリーズを連載しているとこ
15分で作る、Logstash＋Elasticsearchによるログ収集・解析環境 | さくらのナレッジ
たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特
OpenStack上のNWトラフィックをKibanaで可視化する – hirokiaramaki
Logの可視化として、FuluentdとElasticsearch/Kibanaの組み合わせが使われています。今回のこの組み合わせで、OpenStackのOVS上に流れるトラフィックを可視化します。NWトラフィックを可視化する場合にOpenStack環境の物理スイッチ側でトラフィックを取ることも出来ますが、仮想マシン間の通信がホスト内で完結されてしまうと、その部分のトラフィックの様子を見る事が出来ません。OpenStackの構造上、各ホスト上のbr-int上を流れるトラフィックを可視化出来れば仮想マシン間も含めたすべての通信を見ることが出来ると考えられます。 Netflow / sFlowについて NetflowはCisco機器が備えているNW可視化の仕組みです。ポートミラーリングはトラフィクをコピーする仕組みですが、NetflowはIPアドレスやポート番号等の情報を抜き出して、指定のホス
時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
※4/6 その後調べた情報などを記事末尾に追記 前提となるニーズ サーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。 リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。 古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。 最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。 ここでは考えないことにする。 選択肢になりそうなもの 古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana InfluxDB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと
シェルのヒストリをKibanaで可視化してみた - Qiita
はじめに いろいろデータ可視化の可能性を探っていると、とても興味を惹かれる記事を見つけました。 Vimでの作業をKibanaで可視化してみた VimのメトリクスをElasticsearchに投入する為にプラグインを作成されていて素直にすごいなぁと思いました。 ブラウザの閲覧履歴で人生の棚卸し（embulk + elasticsearch + kibanaで可視化） そこに抽出できる履歴データがあれば振り返りたくなりますよね。 昨年11月くらいからデータ可視化のためにEmbulk、Elasticsearch、Kibanaを少し触ってきて、ある程度使い方が分かってきましたので、おさらいを兼ねてシェルのヒストリファイルの可視化をしてみようと思います。 必要なもの（環境） そこそこ溜まっている タイムスタンプ付き のシェルヒストリファイル Embulk 0.8.8 Docker Elasticse
ElasticsearchとKibanaを使ってTwitterのトレンドワードを可視化してみた - Qiita
大久保です。 最近、会社でElasticsearch＋Kibana＋Fluentdという定番の組み合わせを使ってログ解析する機会があったので、ついでにいろいろ勉強してみました。 触ってみておもしろかったのが、Elasticsearchがログ解析だけじゃなくてちょっとしたKVSのようにも振る舞えることです。 ElasticsearchはKibanaと組み合わせることで、もっといろいろおもしろいことできそう感あります！！ 本記事では、その一例としてTwitterのトレンドワードをリアルタイムに集計するプログラムを組んでみました。 完成形：トレンドワードごとのツイート数をグラフ化 ＃開発環境と各種ミドルウェアのバージョン ローカルで確認できればよかったので開発環境はMacです。 Java ElasticsearchはJava製なのでJavaのバージョンを確認。 $ java -version j
dstatをちょっとだけ改造する話 - ほわいとぼーど
以前、『dstatをkibanaで可視化』の話を書いたのですが、 この時の環境で色々不足があって手を加えたり、あるいはその時に気になった部分を後で改良したり、という事があって、 前回の記事『fluentd-plugin-dstat_stdinぽいのを書いた話』も この時の1つです。 今回もその1つで、dstatでの出力内容に不足があったので追加してみた話です。 具体的にはdstat(0.7.2)のCPU関連の出力にstealを追加します。 dstatはpythonで書かれています。 apt-getで入れた場合、本体は /usr/bin/dstat にあります。 また、pluginの場合は/usr/share/dstat配下に個別ファイルで置かれる形です。 /usr/bin/dstat を見てみると、オプション項目毎にclassが切ってあって、 CPU関係の場合、class dstat_cp
NginxのアクセスログをKibanaで可視化 - Carpe Diem
概要 Nginxのアクセスログを用いて可視化の流れをまとめます。 mappingは手動で設定します。 環境 Ubuntu 14.04 fluentd 0.12.19 fluent-plugin-elasticsearch 1.3.0 Nginx 1.4.6 Elasticsearch 2.1.1 Kibana 4.3.1 構成 IP 名前 役割 192.168.33.100 web Webサーバ。ログは転送 192.168.33.101 kibana Kibana。転送されたログをKibanaへ この構成のためにVagrantfileを以下のように編集します。 config.vm.define :web do |web| web.vm.network :private_network, ip: "192.168.33.100" web.vm.provider "virtualbox" do
Fluentd + Elasticsearch +Kibanaを導入したので手順をメモ - まっしろけっけ
導入経緯 「serverのログ見るときに複数のserverにsshで入って見るのとかつらめ」 という理由からリアルタイムで集められたら幸せになれるのではと考え、 fluentdを使ってみようとい結論に至った訳です。 なぜfluentdにしたのか 他にもflume(良く知らない)とかあるのになぜfluentdにしたかと言うと下記の理由から Rubyで実装されているのでカスタマイズとかプラグイン作る場合も作りやすいかな gemとして提供されているのでRubyプロジェクトでは導入しやすいかな プラグインがいっぱいある RubyKaigiでそのっつさんの下記のお話を聞いていたりで使ってみたかったとかそんな感じ Fluentd Hacking Guide at RubyKaigi 2014 リアルタイムログ解析もしてみる Fluentdを使うならElasticserchとKibanaも導入してリアル
fluent+dstat+kibana4でのサーバリソース可視化 - メモ帳みたいなもの
コメントいただいた id:a3no さんの記事のほうが良いので、そちらを参照しましょう。a3no.hatenablog.com 普段はmuninやzabbixのグラフでまあいいかというサーバリソースグラフが、秒単位で見たいというケースがあって色々試行錯誤してできたもの。 rrdtoolで1秒を対応するグラフを作るという手もあるのだけど、なかなか秒単位にいじれるフロントエンドツールが無くて Elasticsearch 触ったこと無かったしで、Web記事を参考にして作ってみることにしました。 参考URL dstatをkibanaで可視化＋3.0.0milestone5新機能 - ほわいとぼーど curator で Kibana 用の elasticsearch のインデックスを定期的に削除する - Qiita Use relative paths instead of absolute · I
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
fluentdとKibanaでSSHアクセス元マップ - Qiita
大学外にポートが空いている研究室のサーバに対して，不正なSSHのアクセスが結構来ています． 今回は以下のステップで，不正アクセス元の国をKibana mapで可視化してみました． fluentdでSSHのログから不正アクセスのIPアドレスを解析 GeoIPを使ってIPアドレスから国を特定 Elasticsearchにログを収集 Kibanaのmap panelを使って可視化 GeoIPとは サイトアクセス者の位置情報を取得するGeoIP | SourceForge.JP Magazineより引用． GeoIPとは、IPアドレスを国、都市、インターネットサービスプロバイダ(ISP)にマッピングしたデータベース群である。 そうしたデータとともにC、PHP、Javaその他いくつかの言語を使ってデータベースにアクセスするためのLGPLライセンスのAPIも用意されている。 fluentdでSSHログ
Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
Private Presentation
Private content!This content has been marked as private by the uploader.
fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する | 踊る犬.net
Programming, Technology fluentd + MongoDB + Elasticsearch + Kibanaでログを可視化する SaaSは利用料が高いのでOSSを使う 要件 独自フォーマットのログを扱いたい アプリケーション特化の情報も一緒に格納したい グラフ設定を簡単に柔軟に変えられるようにしたい システム構成 Chefを使ったセットアップ手順 fluentdの設定 ElasticsearchとKibanaのインストール Elasticsearchの設定 Kibanaの設定 参考リンク SaaSは利用料が高いのでOSSを使う サーバのログを可視化するSaaSは沢山あります。 DataDogとかKeen IOとかlibrato、Logglyなどなど。 とても便利そうですね。でも価格が高い！ なんでもかんでもSaaSに頼ってたら毎月数十万とかになりそうです。貧
Elasticsearch, Fluentd, and Kibana: Open Source Log Search and Visualization | DigitalOcean
// Tutorial //Elasticsearch, Fluentd, and Kibana: Open Source Log Search and Visualization An Article from Fluentd Overview Elasticsearch, Fluentd, and Kibana (EFK) allow you to collect, index, search, and visualize log data. This is a great alternative to the proprietary software Splunk, which lets you get started for free, but requires a paid license once the data volume increases. This tutorial
ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります - Y-Ken Studio
2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。 本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を習得できます。 私はこの第2特集「ログ収集ミドルウェアFluentd徹底攻略」の執筆を担当しました。 サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus) それでは、それぞれの特集について簡単に紹介したいと思います。 サーバ/インフラエンジニア養成読本 ログ収集〜可視化編 特集1 ログ解析からはじめるサービス改善 (鈴木 健太) 第1特集では、ログを蓄積して解析する意義とは何か、コーヒーショップのECサイトを例に、データ分析のケーススタディと共に解説されています。 第1章 はじめに 第2章 サー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
