[B! kibana] MCMCのブックマーク

excale.net

This domain may be for sale!

MCMC 2014/02/26

リンク

fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora

概要 fluentd でサービスの情報を転送し、Kibana で分析したいこれまでの過去データを一度に放り込みたいデータの件数が合わない Kibana でエラーが発生する各種設定を見直すことで対応可能背景長い長いミーティングに疲れ、集中力を擦り減らしたアナタは無意識のうちにブラウザを起動していました。去年まで勤めていた会社の同僚がシェアした記事が目に止まります。「fluentd + Elasticsearch + Kibana で今どきのログ分析！」感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、満足したアナタは VM を落とし、再び仕事に戻りました。しばらく経ったある日のこと、ふと気づきます。「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」毎度オレオレ管理ペー

MCMC 2014/02/02

リンク

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ

発表レポートブログはこちらです。 http://y-ken.hatena blog.com/entry/elasticsearch-meetup-vol2Read less

MCMC 2014/01/16

リンク

Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio

fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。粒度を細かくしたいケース（時間単位）日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう粒度を荒くしたいケース（週単位/月単位/年単位）日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。ログ収集を行うElasticsearchへ流し込む、

MCMC 2014/01/07

リンク

Fluentd + ElasticSearch + Kibana3で簡単に様々なログを可視化・解析する

ISUCON本戦に参加することができてしまったため，各種ログを集めて簡単に見れると良さそうだなぁと思っていたところ，Fluentd + Elasticsearch + Kibana3の組み合わせがなかなかよさそうだったので試してみました．本記事では，NginxのAccessLogとMySQLのSlowQueryLogを可視化してみます． Fluentdはご存知の方も多いと思いますが，Treasure Dataのメンバによって開発が進めれているオープンソースのログ収集ツールです．Fluentdに追加された様々なログデータはJSONに変換，アウトプットされます．実装はRubyで行われており，pluginを追加することでで様々なINPUT/OUTPUT先を追加することができます． Fluentdにはリアルタイムにログを収集して活用できることや，様々なログフォーマットの違いを吸収してJSONで同

MCMC 2014/01/01

リンク

Kibana3 + elasticsearch + fluentd を試した

こんにちは。@jedipunkz です。 {% img /pix/kibana3.png %} 前回の記事で Kibana + elasticsearch + fluentd を試しましたが、ツイッターで @nora96o さんに “Kibana3 使うと、幸せになれますよ！” と教えてもらいました。早速試してみましたので、メモしておきます。前回の記事。 http://jedipunkz.github.io/blog/2013/09/07/kibana-plus-elasticsearch-plus-fluentd/ 前半の手順は前回と同様ですが、念のため書いておきます。前提の環境 OS : Ubuntu 12.04 Precise (同じ方法で 13.04 Raring でも出来ました) 必要なパッケージのインストール下記のパッケージを事前にインストールします。手順を省くために