Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容
障害発生時にも漏れなし！ Zabbixの監視アラートでRedmine上にチケットを起票する仕組みをつくろう
* About to connect() to redmine-server port 80 (#0) * Trying redmine-server... * Adding handle: conn: 0x21b3278 * Adding handle: send: 0 * Adding handle: recv: 0 * Curl_addHandleToPipeline: length: 1 * - Conn 0 (0x21b3278) send_pipe: 1, recv_pipe: 0 * Connected to redmine-server (xxx.xxx.xxx.xxx) port 80 (#0) > POST /issues.json HTTP/1.1 > User-Agent: curl/7.30.0 > Host: redmine-server > Accept: *
ZABBIXからTwilioを使って電話をかける | 情報セキュリティの勉強部屋
サーバに何か起こったときに、自動で電話をかけて欲しい時があると思います。Twilioを使うとZabbixから電話をかける機能を手軽に実装できました。ちなみに利用料金はこちら。 1. Twillioのアカウントを開けてサンプルコードを取得する。 Twilioは日本ではKDDIが提供しているようです。ログイン後に、[ツール]→[API Explorer]のページで’電話に発信する’という項目があるので、’リクエストとサンプルコードを見る’をクリック。そこで、curl,Ruby,PHP,Python,Node.js,Java,C#のコードが取得できます。 2. ZABBIXのアクションに登録する。 [設定]→[アクション]もしくは[管理]→[スクリプト]で取得したコードを登録して、コールがくるかテストします。 3. Twilioにしゃべらす 調べてみるとTwilio Labというのがあって、その
Zabbixとjob scheduler連携による運用システムoss化の実現
This document discusses Zabbix, an open source monitoring software, and its job scheduling capabilities using HyClops. It also talks about TIS's support for open source software and monitoring infrastructure using Zabbix. The presentation provides an overview of Zabbix's features for monitoring servers, networks, databases and applications using agents. It also describes how Zabbix uses APIs to in
Zabbix電話通知プラグイン「zabbix-twilio」とは - Zabbix 電話通知プラグイン 「zabbix-twilio」 ドキュメント
電話通知プラグイン zabbix-twilio Zabbixのメディアタイプ(通知配信)に電話による通知を追加する為のプラグインです。また、電話通知を受け付けたかの確認履歴をZabbixへ登録できます。電話を掛ける仕組みはクラウド電話APIサービス「Twilio」を使用しています。 ※別途TwilioのアカウントとインターネットからアクセスできるWEBサーバーが必要となります。 ファイル名 役割
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
テンプレートやGUIにより設定が容易な統合監視ツール「Zabbix」 | OSDN Magazine
サーバーを監視するためのツールにはさまざまなものがあるが、その1つに「Zabbix」がある。Zabbixはオープンソースで開発されている多機能な監視ツールで、設定を容易に行えるテンプレート機能やWebブラウザ上で操作できるGUIが特徴だ。本記事ではZabbixの概要と、ZabbixによるLinuxサーバーの監視方法について紹介する。 テンプレート機能や豊富な監視設定が特徴のZabbix サーバー運用において重要なのが、サーバーやそこで動作しているアプリケーションが正常に動作しているかを監視することだ。監視方法としてはさまざまなものがあるが、多くの場合専用の監視用ツールを利用するのが一般的である。監視用ツールとしては「Nagios」や「MRTG」などが有名であるが、今回は豊富な監視機能を持つ「Zabbix」という統合監視ツールを使ってLinuxサーバーを監視する方法について紹介しよう。 Za
Zabbixで10,000台のサーバーを監視する
Linux/OSS関連のエンジニアです。OSS監視ツールZabbixの日本支社、Zabbix Japanの代表も務めています。 Zabbixは重い！というツイートや情報があったりするのですが、海外ユーザーのサポート経験からZabbixのパフォーマンスは驚くほど良くなっていると思っていて、どこに違いがあるのか不思議に思っていたりします。 Zabbix社で大規模システムというと、監視対象が数千台規模以上、1秒あたりの監視項目数(Zabbixのダッシュボードやレポートメニューから見れる値、以降nvpsと書きます)が1000を超えるくらいからです。本社ではこのnvpsの値が1万に到達しようとしているユーザーをサポートしています。 海外のZabbixサポートユーザーはボトルネックになっている点についてZabbix本体に修正要望を出し、Zabbix本体のパフォーマンスを上げつつ監視規模を拡大していって
DevOps実践に有用なZabbixの機能～自動化機能で運用負荷削減
DevOps実践に有用なZabbixの機能～自動化機能で運用負荷削減：クラウド＆DevOps時代の運用をZabbixで（3）（1/2 ページ） ますますクラウド化が進む環境において、システムにはより迅速な対応が求められるようになっています。変化の早いシステムを適切に運用していくためにはどうすればいいのでしょうか？ この記事では、クラウドやDevOpsを前提としたITシステムの「運用」に求められることを整理し、そういった運用に対して、オープンソースの統合監視ツール「Zabbix」がどのように有効活用できるかを紹介します。 前回の記事「DevOps実践に有用なZabbixの機能～開発と運用を近づける監視」では、DevOpsを実践するに当たって、開発者と運用者をZabbixを通じてより近づける方法について紹介しました。第3回目の本記事では、運用面にフォーカスを絞り、Zabbixの自動化機能を活用
MuninとZABBIXで効率的トラブルシューティング
第3回『いまさら聞けない！システム運用・管理のコツ』 ～システム監視ツールバトル2013！～ @zembutsu の発表スライドです。 前半は、これまでのお復習い。後半は、現在の取り組みです。 2013/07/11(木) 19:00 ～ 22:30 http://everevo.com/event/6342 様々な監視ツールがあるなかで、Munin はリソースの変化を識るためのツール。サーバ上のありとあらゆる情報を集めることが出来るので、日常の利用状況の把握や、障害時のトラブルシューティングにも最適です。そこで、Munin を使えばトラブルシューティングがどのように変わるのか、実例とグラフを交えてご紹介します。 おまけ、スライド冒頭は、本当はこんな無駄アニメーションでした。。 （頑張るところが間違ってるだろうと反省しています） http://youtu.be/YNJ-Mn0IOpI
ZabbixによるCloudStack環境の統合監視
ICTの力を、お客様のビジネスの推進力に。 戦略マーケティング部 マーケティング１室 三島 匡史 2013年7月19日 Zabbixによる CloudStack環境の 統合監視 1 CloudStack環境における運用課題 2 All Rights Reserved, Uniadex Ltd. 201３ CloudStackのデータ収集 作成されたインスタンス の監視自動化 CloudStackの監視機能では 継続的なデータ収集ができない 運用の基礎データとして 分析したい CloudStack上で作られる たくさんのインスタンス (仮想マシン)の監視を 個別に設定するのは非常に 手間がかかってしまう。 インスタンスの起動と自動に 監視を始めてほしい アジェンダ 自己紹介 CloudStackのご紹介 ZabbixによるCloudStack監視自動化 デモ 3 All Rights
serverspecでZabbixサーバの稼働テストを書いてみた - ike-dai's blog
先日http:/http://togetter.com/li/501076togetter.com/li/501076(5/10)開催されたProvisioning Frameworks Casual Talks vol.1に参加しました。 Provisioning Frameworks Casual Talks vol.1の中身は他の方がたくさんブログを書かれているのでそちらを参照して下さい。 Provisioning Frameworks Casual Talks vol.1 - Togetter serverspecの話がたくさん出てきたので自分も試しにservespecを使ってテストコードを書いてみました。 ついでに、serverspecのver.0.3.0から利用できるようになったattributeの機能も使ってみました。 serverspecのattributeはこちらを参考に
SNMPでプロセス毎のCPU使用率やメモリ使用率を取得する方法(zabbixで監視) - ike-dai's blog
1.稼働プロセスのindex番号を調べる ●稼働しているプロセスの名前で判断できる場合 HOST-RESOURCES-MIB::hrSWRunName この値を見ると、稼働しているプロセス名の一覧が取得できる。 例1：HOST-RESOURCES-MIB::hrSWRunName.4861 = STRING: "ntpd" ntpdのプロセスが稼働していることがわかる。 この時、indexの番号(4861)が重要なので記録。 ●稼働しているプロセスのパラメータ値で判断できる場合 同じ名前のプロセス名が複数稼働しているが、起動プロセスのパラメータ値が異なっているような場合は下記のようにindex番号を取得する。 HOST-RESOURCES-MIB::hrSWRunParameters 例2：HOST-RESOURCES-MIB::hrSWRunParameters.6419 = STRIN
2012/05/12_第5回 ZABBIX-JP勉強会( #zabbix_jp )
ふりっぱぁ @fripper1214 明日のZabbix-JP勉強会、補欠のまま‥かなぁorz 当日キャンセル者が出て自分が参加できることを祈るのはルール違反だと解ってはいるけれど、それでも参加したいワガママな自分‥ でも、当日キャンセル者が出たら実際のところどうなるんだろ‥ #zabbix_jp 2012-05-11 21:53:05
zabbixでSNMPを利用してプロセス監視を実行する方法 - ike-dai's blog
今日もzabbixのお話です。 zabbixエージェントを導入せず、SNMPを用いてプロセス監視を実行する方法を紹介します。 サーバで稼動しているプロセスの情報は、SNMPを利用して、HOST-RESOURCES-MIB::hrSWRunName.xxxという形式のOIDで取得できる。 ただし、xxxの部分はPIDであり、起動毎に異なるため通常のSNMP監視ではうまく監視できません。 そこで、zabbixでは「外部チェック機能」を利用します。 1. チェック用スクリプトを配置 外部チェック機能は、zabbix serverに配置されたスクリプトを実行してその戻り値をDBに保存する方式を取るので、 まずはプロセスチェック用のスクリプトを配置します。 配置する場所はzabbix_server.confのExternalScriptsで指定している場所に配置します。 デフォルトでは以下のようにな
[ThinkIT] 統合監視ツールZABBIX事始め
社内・社外を問わず、IAサーバがITシステムの中核に導入されることは珍しくなくなってきました。特に、Webアプリケーションサービスを行う場合、主にIAサーバとLinuxまたはWindowsという組合せでシステムを構築されていることでしょう。 IAサーバは比較的安価なため、リソースが不足しても追加購入してシステムを容易に増強することができます。これは大きなメリットですが、管理面では負担の増加が避けられません。数台規模ならば手作業で個々のサーバを管理できますが、数十台〜数百台規模となってくると、某CMではありませんが「増え続けるサーバの管理に困っていませんか？」という状況になるのは想像に難くありません。 システムを効率的に管理するためには、まずサーバのハードウェアリソース、そしてその上で稼働するOSやアプリケーションの状態を適切に把握できることが重要です。シェルスクリプトなどを利用して監視／通
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TIS、Zabbixをハイブリッドクラウド環境向けに拡張する「HyClops for Zabbix」
クラウド環境向けZabbixカスタマイズ紹介(第5回Zabbix勉強会)
サーバ運用の現場でひたすら監視し続けるエンジニアの手の内のすべて
Av-jyo.com