Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
Logstashを中心にしたカメリオのログ、イベントの収集・解析・可視化 | カメリオ開発者ブログ
こんにちは。ここに初めて登場するエンジニアの北野です。業務の半分くらいがエンジニアで、エンジニアとしてクローラーの開発とサーバー運用などを行っています。今回はカメリオを動かしているサーバーのログ、イベント収集と解析・表示をどのように行っているかを書きたいと思います。 カメリオを動かすサーバー構成 最初に白ヤギではカメリオをどのようなサーバー構成で動かしているのかを説明します。 カメリオのサービスを提供するために利用しているサーバーは現在全てAmazon Web Service上で動かしています。 かなり省略した図になりますが四角い部分がサーバーを表しています。現在は次のような３つの機能を持つサーバー群 フロント用APIサーバー 記事検索・タグ付けサーバー 記事クローラーサーバー などと、この図には無い サーバー監視とログ収集・解析を行うサーバー の大きつ４つのサーバーを稼働してサービスを提
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
