Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog
背景 webアプリを書いていると，以下のようなロギングコードを至る所にちりばめる事になると思います． $c->log(error => "Chou Yabai ERROR!"); ただいくらログを吐いても，アプリのログからは片時も目を話さないよ！！みたいな真面目なエンジニアじゃない限り，せっかく吐かれたログに気づけないとかあるわけです． そこで特に重要なログについては別途ikachanとかでIRC等にpostするコードを入れといて，即応できるようにしてることと思います． でも，levelがerrorとかcriticalで吐かれてるログって全部重要だし全部すぐ知りたくね？それにいちいち別途ikachanするコードとか入れるのめんどくね？っていう需要があるわけです． そこでロガーメソッドにif ($level == 'error') { post_to_irc($message) }みたいなコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
