Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
Norikra Meetup #1に参加してきました - 随所に主と作れば、立処皆真なり
比戸(@sla)です。お手軽なストリーム向けSQL処理系Norikraの勉強会に参加してきました。 一言で言うと、「Norikra使われてるんだ」感と、「（自分でも）Norikra何かに使えそう」感が同時感じられる、濃密な素晴らしい勉強会だったと思います。ハッシュタグも活発で、Togetterはこちらでまとめられています。 まず開発者の@tagomorisさんのオープニング。 "Stream processing and Norikra" ストリーム処理のバッチ処理との違いや狙い、簡単な使い方がわかりやすく説明されてます。 続いて@fubaさんのレポーティングの話。 "norikra を使って速報レポート集計してみた" 元々Hiveを使っていた速報集計クエリが シンプルかつ短時間で実行可能になったそうです。 id:kawamurrayさんのアプリログ監視の話。 「Norikraでアプリログ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Norikra vs InfluxDB : sonots:blog
