[B! Kibana][fluentd] Oooのブックマーク

fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora

概要 fluentd でサービスの情報を転送し、Kibana で分析したいこれまでの過去データを一度に放り込みたいデータの件数が合わない Kibana でエラーが発生する各種設定を見直すことで対応可能背景長い長いミーティングに疲れ、集中力を擦り減らしたアナタは無意識のうちにブラウザを起動していました。去年まで勤めていた会社の同僚がシェアした記事が目に止まります。「fluentd + Elasticsearch + Kibana で今どきのログ分析！」感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、満足したアナタは VM を落とし、再び仕事に戻りました。しばらく経ったある日のこと、ふと気づきます。「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」毎度オレオレ管理ペー

Ooo 2015/06/28

リンク

データ可視化に便利なkibanaは、elasticsearchのプラグインとして構成すると便利 #Fluentd - Y-Ken Studio

Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。 elasticsearchのsiteプラグイン siteプラグインは、ウェブベースのインターフェースを提供するものです。 elasticsearchの挙動へ変更を加えるものではないため、サービス停止(再起動)を行わずにインストール・アップデート・アンインストールができます。モニタ

Ooo 2014/09/30

リンク

ログ集計システムを自前で作る - Y's note

Index ログ集計システムの要件 DB設計データ保存方針 table設計サーバ構成 Fluentd fluentd,fluent-plugin-mysql-bulk install td-agent.conf mysqlにデータが格納される事を確認する集計用のバッチその他 Table肥大化防止可視化ログ集計システムの要件爆弾ログ処理班の@yutakikuchi_です。ログ集計システムというものを作る時に皆さんはどのように対応していますか？以下の候補から要件のレベルで使い分けをしている人が多いと予想しています。ざっくりの評価ですが、導入難易度、正確性、可視化、リアルタイム、長期集計、スケール、運用費用という点で評価を書いています。ツール導入難易度正確性可視化リアルタイム長期集計スケール運用費用リンク GA(スタンダード) ○ × ○ ○ ○ ○ ○ Go