Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
Consul service のヘルスチェックを zabbix での監視項目と共用する - 酒日記 はてな支店
Consul での service 定義にはヘルスチェックを設定できます。Service Definition - Consul 以下のようにサービス定義に死活監視用のコマンドを登録しておくことで、一定時間ごとにコマンドを起動します。コマンドの終了ステータスが 0 : 正常、1 : warning、それ以外で critical という扱いです。このあたりは nagios, sensu 等のプラグインと互換性があるようですね。 (他に、外部から一定時間ごとに状態を API で登録する TTL 型の死活監視もあります) { "Name": "nginx" "Check": { "Interval": "10s", "Script": "/path/to/healthcheck.sh" }, } ところで、既に何らかのモニタリングツールで監視をしている場合、Node 上で動く daemon 類に
Zabbix のスクリーンを percol で快適に選択して開く open_zabbix_screen を作った - 酒日記 はてな支店
数えてみたら Zabbix のスクリーンが180枚もできていて、こうなるとブラウザのプルダウンでの選択がめんどくさいわけです。 一応、先頭一致でインクリメンタルサーチはできますが日本語が混じっているとできないし……と不満に思いつつ使っていたのですが、percol というコマンドが便利だということを知ったので percol で選択したスクリーンを開くツールを書いてみました。 App::OpenZabbixScreen Perl製です。あらかじめ PATH が通ったところに percol をインストールしてください。 ターミナルから open_zabbix_screen コマンドを起動すると、初回のみ Config::Pit が環境変数 $EDITOR のエディタを開くので、Zabbix の URL (API エンドポイントが http://example.com/zabbix/api_jso
AutoScalingも怖くない、Zabbix自動登録 - サーバーワークスエンジニアブログ
4月から劇団サーバーワークスに加わりました。伊藤です。 社内ではくりゅーと呼ばれております。 AWS環境では、わずか数クリックでサーバーができたり、AutoScalingで自動的にサーバーが増えたり、 オンプレミスの監視運用のスピードでは全く追いつけません。 そこで、今回はAuto Scalingなどで監視対象のインスタンスが自動で増えたり減ったりしても、Zabbixで常に対象インスタンスを自動登録し、監視対象にする方法をご紹介します。 自動構成ツールなどには依存しないので、どんな方法で（マネージメントコンソール、SDK、CLI、API、Elastic Beanstalk等々）構築、運用していても適用できます。 監視対象インスタンスのAgent側設定 zabbix_agentd.confにおいて、以下の点を設定します。 Server=127.0.0.1 #Zabbix-serverのIPも
ZabbixのAPIを使って運用を楽しくする話
「ZabbixのAPIを使って運用を楽しくする話」 'Serf orchestration with ZABBIX APIs' Serf the Liberator - 始まりの物語 ---- 1. ZABBIX API 超入門 ・シェルで始める ZABBIX API (言語知識不要) 2. Serf と Zabbix の連携 ・Serf とは？ ・API を使えば、こんな事が簡単にできるよ！ 3. 仕事は楽しいかね？ ・ Serf the Liberator 【叛逆の物語】 ---- 第6回 ZABBIX-JP勉強会 http://atnd.org/events/48954 Masahito Zembutsu Apr 12, 2014 , Osaki Tokyo ZABBIX-JP 6th meetup #zabbix_jp
第6回 Zabbix-JP勉強会は、2年の空白を埋める非常に濃い勉強会だった #zabbix_jp - 双六工場日誌
今日は、第6回Zabbix-JP勉強会に参加してきました。 今回の勉強会は、約2年ぶりの開催！ @ike_dai さんが『Zabbix統合監視徹底活用 ~複雑化・大規模化するインフラの一元管理』を今年の2月に出したことが開催のきっかけになっています。この本は、Zabbixを大規模環境に適用するに当たっての実践的な知識が詰め込まれた労作です。まだ買っていない人はすぐ買いましょう。 本編の内容 そして、今回の勉強会は、この本の濃さに勝るとも劣らない非常に濃い内容でした。本編を以下にまとめてみましたが、タイトルだけでも内容が多岐に笑っています。（資料は、現時点で僕が把握できた範囲の公開資料です。【追記】4/14に@zembutsuさんの資料を追加、4/17に[@BSmile]さん、@qryuuさんの資料を追加） 本編 発表者(敬称略) タイトル 資料 Zabbix Japan 寺島 広大 (@k
社内サーバーの管理にZabbixを導入してみた - 株式会社オーツー｜スタッフブログ
こんちは。開発２部の吉岡です。 オーツー社内には様々なサーバーがあります。ファイルサーバーや、バックアップ用サーバー、Jenkins、Jenkinsのスレーブ、Redmineなど… サーバーが増えていくのは良いのですが、どのサーバーはどんな状況なのかさっぱり把握出来ていません。 そこでサーバー状況を一括で管理するために、Zabbixを導入してみました。 Zabbixについて Zabbixは死活監視＋負荷監視なオールインワンな感じのサーバー管理ツールです。 Webブラウザ上で設定を行うことが出来、項目や画面が多く、かなり高機能な印象です。 インストールしてみた インストールはマニュアルを参考に行ったのですが、意外と簡単で躓くこともなかったです。 被監視サーバーにはzabbix-agentをインストールするのですが、とりあえず使うにはzabbix-serverのIPアドレスを設定するぐらいでし
zabbixで独自監視項目を設定する
システム監視でzabbixを使っています。通常のポート監視とか、プロセスの生死監視なんかは標準に用意されているコマンド類でなんとかなるんですが、どうしても独自の監視項目を追加しないといけない場合もあります。 私が管理している環境中の某サービスでは、認証情報としてFreeRADIUS、Samba(winbind)経由でActiveDirectoryのダイレクトリを使用しています。それぞれのプロセスが落ちたりすることはないんですが、winbindのActiveDirectoryレルム参加がなぜだか時々ちょん切れることがあります。ここが切れると、当然Radiusでの認証も不可になります。 なので目的としては、Radiusでサンプルアカウントの認証が失敗したら、net adsコマンドを発行するってことができればOK。 Radius認証試験用のスクリプトを用意する。 単純なコマンドなら下で書いたza
複数の zabbix-agent から取得した値を集約する zabbix-aggregate-agent を書いた - 酒日記 はてな支店
Immutableなインフラがなんやかんやと喧しい今日この頃ですが、インスタンスが頻繁に増えたり減ったりすると、監視サービスで継続的な値を追うのが難しくなるよね、という問題を最近感じています。 サービス全体で複数のホストの合計値を取得しておくことで使用量の推移を見たいような値、具体的には以下のようなものです。 外向けのネットワークトラフィック クライアントと永続接続する daemon の持っているコネクション数 ジョブの処理数 複数のMySQL slaveが処理した参照クエリ数 ということで、zabbix-agent への proxy として動作する、複数 agent からの数値を合計して返すようなものがあったら捗るんじゃないかと書いてみました。 公式ページ fujiwara.github.io/zabbix-aggregate-agent リポジトリ zabbix-aggregate-a
【 Zabbix 2.0 】zabbix 2.0による簡単 MySQL 監視 #Zabbix
8. userparameter_mysql.confの先頭には次のように 書かれています。 # For all the following commands HOME should be set to the directory that has .my.cnf file with password information. HOMEディレクトリに、[.my.cnf ]を配置し、そこ にパスワード情報を記載するように指示されてい ます。 そして、各UserParameterのコマンドの中では [HOME=/var/lib/zabbix]として HOMEディレクトリに/var/lib/zabbix が設定され ています。 userparameter_mysql.confの使い 方 2013/09/298
Zabbix2.0でESXiのVMごとに監視してみる - G1BS.0N
これでステータスが取れます。簡単です。 取得する値は、 VMware vSphere API Reference Documentation とか https://(vCenter)/mob を参照します。 Zabbixへの取込み方は、 ESXi 4.0 Hardware and Software Monitoring VMWare を参考にして、 取得した値をローカルにテキストで保存する それをZabbix AgentのUserParameterで取得する というやり方にしてみます。 上記のサイトでは１つのファイルにしていますが、VMごとに取得したいので、 ついでに、ESXi、データストアのステータスも取得したいと思います。 VM、ESXi、データストアそれぞれをZabbixに監視ホストとして登録しようと思うので、それぞれ別ファイルにしてみます。 RbVmomiスクリプト で、スクリプト
右往左往ブログ
仕事でJenkinsを使ってるのですが、Jenkinsをビルドツール以上に、「定期実行してくれるもの全て」を管理するジョブ管理ツールとして使うことに疑問を覚えたので、メモします。 Jenkinsは継続的インテグレーションツールであって、ジョブ管理ツールではないと思うのです。 巷の記事を見ると、大抵「Jenkinsはジョブ管理の代替になる」という論調ばかりなのですが、Jenkinsをジョブ管理ツールとして使うには、かなり無理があるのではないかと思います。 というのも、ジョブ管理ツールに求めるのは どのサーバで動いているか 同一時刻にどんな処理が動いてるか どのジョブとどのジョブが関連しているか といった情報を設定でき、管理できることなのですが、1つ目はそもそもJenkins単体だとローカルでしか動かないので把握できない(sshなどでリモート実行は当然可能だが、それは処理を見ないと分からない)
「Zabbix 2.2は最も優れ、安定したリリース」、開発者が語る
「Zabbix 2.2は最も優れ、安定したリリース」、開発者が語る：Zabbix Conference Japan 2013レポート Zabbix Japanは2013年11月22日、「Zabbix Conference Japan 2013」を開催した。オープニングスピーチには、ラトビアのZabbix SIA創設者兼CEOで、オープンソースの統合監視ソフトウェア「Zabbix」の生みの親であるアレクセイ・ウラジシェフ氏が登場した。 Zabbix Japanは2013年11月22日、「Zabbix Conference Japan 2013」を開催した。オープニングスピーチには、ラトビアのZabbix SIA創設者兼CEOで、オープンソースの統合監視ソフトウェア「Zabbix」の生みの親であるアレクセイ・ウラジシェフ氏が登場。つい先日リリースしたばかりの新バージョンの特徴などを紹介した。
fluentdでCloudWatchのELBのメトリクスをZABBIXに渡す · さよならインターネット
March 21, 2013 ELBのCloudWatchにあるメトリクスをZABBIXで取得するためにfluentdを利用しました。 これでELBのアラートの設定もZABBIXで行えるので、通知の一元化が行えます。 もちろんZABBIXでグラフにすることもできます。 fluent-plugin-zabbix fluent-plugin-cloudwatch この2つのfluentdプラグインを使います。 td-agent.conf <source> type cloudwatch tag cloudwatch aws_key_id YOUR_AWS_KEY_ID aws_sec_key YOUR_AWS_SECRET/KE cw_endpoint monitoring.ap-northeast-1.amazonaws.com namespace AWS/ELB metric_name H
システム監視のアラート大量発生を抑えるZabbixトリガー「依存関係」機能の紹介
システム監視で大量の監視ポイントを設定していると、障害発生時に大量の障害通知アラートメールが発生する可能性があります。そのような事態にならないように、Zabbixには障害検知時にアラート通知を制御するトリガー機能「依存関係」を設定する事が可能です。Read less
技ブロ fluentdを使ってzabbixでログ監視
うちの会社ではzabbixを使ってサーバの監視をしていますが、リソースの使用率のグラフ化やアラートの設定条件など、おおむねその機能に満足しています。しかし唯一不満な部分があります。それは、ログ監視。 たとえばTomcatのCatalina.logを監視していて、OutOfMemoryが出力されたらアラートを上げるように設定すると、出力行数だけ障害メールが飛んできて、さらにすぐさまリカバリーが来るという、なんともいただけない仕様なのです。 ひどいときは、それで200通以上のメールが携帯に届くこともあります。 最近fluentdを導入したこともあり、ログの集計結果を監視に利用できないかと考えたら、意外とすんなりできたのでご紹介します。 【監視対象サーバに必要なもの】 fluentd fluent-plugin-zabbix fluent-plugin-datacounter fluent-pl
SRA OSSとTIS、PostgreSQLの性能監視が可能なZabbixテンプレート「PostgreSQL monitoring template for Zabbix」を公開
SRA OSSとTISは、オープンソースデータベース「PostgreSQL」の稼働情報および性能監視を、オープンソースの統合監視ツール「Zabbix」から行えるテンプレート「PostgreSQL monitoring template for Zabbix（pg_monz）」を共同で開発し、オープンソースソフトウェア（OSS）として5日に公開した。 「pg_monz」は、PostgreSQLの運用管理者がチェックしたい、死活監視（接続確認、プロセス確認）、ログ監視（エラーレベルによる監視）、リソース監視（ディスク容量、CPU利用状況、メモリ利用状況、ディスク容量など）、データベース監視（データベースサイズ、接続数）、性能監視（チェックポイント発生状況、キャッシュヒット率、デッドロックなど）の監視に対応している。 Zabbixの機能によって、閾値によるアラート設定や、監視データの蓄積によるヒ
Zabbixで10,000台のサーバーを監視する
Linux/OSS関連のエンジニアです。OSS監視ツールZabbixの日本支社、Zabbix Japanの代表も務めています。 Zabbixは重い！というツイートや情報があったりするのですが、海外ユーザーのサポート経験からZabbixのパフォーマンスは驚くほど良くなっていると思っていて、どこに違いがあるのか不思議に思っていたりします。 Zabbix社で大規模システムというと、監視対象が数千台規模以上、1秒あたりの監視項目数(Zabbixのダッシュボードやレポートメニューから見れる値、以降nvpsと書きます)が1000を超えるくらいからです。本社ではこのnvpsの値が1万に到達しようとしているユーザーをサポートしています。 海外のZabbixサポートユーザーはボトルネックになっている点についてZabbix本体に修正要望を出し、Zabbix本体のパフォーマンスを上げつつ監視規模を拡大していって
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MongoDBの監視
AmazonLinux上にzabbixサーバーを構築してみる
