Sensu と Graphite による大規模インフラの監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog サイトオペレーション本部の渡邉です。 サイトオペレーション本部はデータセンタ・ネットワーク・サーバー・OS・ストレージといった全社的なインフラの管理運用や調査検証などを担当しています。 今回は、2013年に全社のプライベートクラウドとして導入した OpenStack の監視基盤として、OSS の Sensu と Graphite を採用した事例についてご紹介したいと思います。 採用に至るまで サイトオペレーション本部では、もともと 2011 年から内製のプライベートクラウドを開発運用していました。 プライベートクラウドでは VM のホストとなるハイパーバイザを大量に運用する必要がありますが、その監視基盤として社内で一般的に利用され
監視アーキテクチャ(Sensu,Pingdom,Mackerel,StatusPage.io,PagerDuty)についてまとめてみる(2014年12月版) - Glide Note
Sensu Advent Calendarに便乗して、Kaizen Platform, Inc.の2014年12月現在の監視アーキテクチャの話をちょっとしてみようと思う。 モニタリング領域 サービスを監視している領域 Pingdom Pingdom - Website Monitoring 外部ネットワークからのサービスの死活監視。アメリカ、ヨーロッパ、アジアなどの拠点からサービスの死活監視が出来るため、特定の地域からアクセス出来ない場合なのが検知出来る。 後述するstatuspage.ioとの連携で、障害を検知すると、サービスのステータス状況が自動で変わるようになっている Sensu Sensu | The open source monitoring framework. 監視フレームワーク サーバを内部ネットワークから監視するために利用 サーバのプロセス監視、サーバ間の疎通監視、エラ
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
エンジニア3人で支える月間10億PV
・2年で月間10億PVを支えるまで成長した ZenClerkの運用上の工夫を紹介 ・AWSのTipsとあるある話の共有
Pingで死活監視して自動リブート＆ネット経由で強制的に再起動できるコンセント「iBoot」シリーズ
そう簡単に行くことができないぐらい遠く離れた場所にあるサーバを運用していると、「だめだ！もうコンセントを抜いて強制的に電源断して再起動するしかない！」というケースが出てきます。そういう場合になんとかしてリブートする方法はいろいろありますが、中でも強力なのがこの「iBoot」シリーズです。 コンセント自体がPingを送信してサーバやデバイスの死活監視をしてくれるので、いちいちこまめに監視できないようなケースでも割と乱暴ですが、ある程度放置しっぱなしで運用可能となっています。 製品カテゴリとしては「ネットワークパワースイッチ」「リモートパワースイッチ」と呼ばれるものです。製品の詳細などは以下から。 iBoot Remote Reboot via Web Browser http://dataprobe.com/iboot-remote-reboot.php このiBootシリーズの中でもトップ
Sensuを使って自由度の高い監視システムの構築を行う方法
SensuとはSensuはhttp://sensuapp.org/で公開されているオープンソース(MITライセンス)のモニタリングフレームワークです。 特徴以下のような特徴があります（公式サイトの記述を整理） シンプルで融通が効き拡張性があるモニタリングフレームワークエージェント、メッセージバス、イベントプロセッサーの機能を提供要件にあわせて他のツールとの組み合わせが可能クラウドを意識して開発自動でクライアント(監視対象）を登録コミュニティが活発RubyのEventMachineを使って作られているコードはGitHubでホストされ、テストコードは高いカバレージ。TravisCIで継続的インテグレーションを実施Nagiosのプラグインを再利用可能設定はすべてJSONファイルで行うRabbitMQを使ったメッセージ型のアーキテクチャーオムニバスインストーラーを提供個人的な見解としては、Sens
監視ソフトをNagiosからSensuに切り替えて2ヶ月経ったのでまとめた - Glide Note
新規サービス用の監視をNagiosからsensuに切り替えて2ヶ月経ったので、 導入時の調査で社内で公開してたissueと、投入して2ヶ月間運用した記録を公開しておこうと思う。 というか以前Sensuの事を書くと公言していたのに、すっかりサボっていて 昨日@ma0eさんのブログを見て下記のやり取りを思い出して急いで書いた… @ma0e We started using it. @glidenote will report the detail soon, I think. — kentaro (@kentaro) 2013, 10月 30 @kentaro @glidenote that would be nice — Mitsutoshi Aoe/maoe (@ma0e) 2013, 10月 30 導入環境はCentOS 6.4で、利用しているsensuのバージョンは0.12.1-1にな
完璧な監視システムの作り方 in cybozu.com - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳細を運用チームに知らせるための監視システムが必要となります。cybozu.com でも以下のようにありとあらゆるものを監視するシステムを構築し日夜監視を行なっています。 今回は、そんな cybozu.com の監視(モニタリング)システムについてお話しします。 cybozu.com と障害 監視システムの設計 3つの監視 外形監視 症状監視・リソース監視 ログ監視 その他の監視 モニタリングフレームワーク 誰が監視者を監視するのか？ まとめ cybozu.com と障害 まずは、監視対象である cybzou.com について説明します。
Wgetとメールを使ったお手軽サーバ死活監視
Wgetとメールを使ったお手軽サーバ死活監視：Windows環境でちょっとした定型業務を自動化する（1/2 ページ） 管理下のWebサーバが止まったら、速やかに管理者の携帯端末へメールで通知する。そんな死活監視システムを、無償のソフトウェア・ツールとバッチ・ファイルを組み合わせて簡単かつ手軽に実現しよう。 連載目次 サーバ管理者が行うべき作業はいくつもあるが、その中でも特に重要なのが「予期せぬサーバの停止」の検出とその対処だろう。いうまでもなくサーバが停止していることが分かったら、なるべく早く復旧に向けて対応しなければならない。そのためには、普段からサーバを継続的に監視しておき、停止などの異常があれば速やかに検出して、管理者に知らせる必要がある。 社内設置のサーバであれば特段の監視体制を用意せずとも、その異常に気付きやすい。距離的にもネットワーク的にも「身近」であり、また周りのスタッフが異
logentriesでnginxのエラーを監視する - komagataのブログ
小さいrailsサービスあるある railsで何かサービスを作ったとする。ExceptionNotificationも入れた。NewRelicで5分毎に死活監視もしてる。なのに「落ちてるみたいです」とTwitterで言われる。 nginx + unicornの組み合わせでアクセスが増えた時、大抵真っ先に起こるのがunicornのtime out。 2013/02/08 18:36:10 [error] 20932#0: *3506622 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 〜ってやつ。 重いDBのクエリとかでアクセスをさばくスピードより接続数が増えてきて起こる。railsアプリまで処理が行かないのでExceptionは起こらない
私がMuninに恋する理由 - インフラエンジニアでも監視がしたい！ -
7. ＼ / 私は誰？ ＼ 丶 i. | / ./ ／ ＼ ヽ i. .| / / ／ ＼ ヽ i | / / ／ ＼ -‐ Zembutsu Masahito ー _＿ わ た し で す -- • 前佛 雅人 @zembutsu 二 ／￣＼ ＝ 二 ￣. | ＾o＾ | ￣ -‐ ＼＿／ ‐- – Solutions Engineer ( 萌えるSE ) ／ • インフラエンジニア的な仕事メイン / ヽ ＼ • 株式会社リンク at+link サービス開発部 ( http://www.at-link.ad.jp/ ) ／ • “技術者に安心と休息を” 提供するサービス追求(運用/監視/自動化) 丶 ＼ ／ / / | i, 丶 ＼ ／ / / | i, 丶 ＼ – オープンソース系・クラウド系コミュニティ活動 • http://pocketstudio.jp/log3/ – 主な職歴
ロードアベレージを監視して任意のコマンドを実行する(monitで) - 酒日記 はてな支店
他に似たツールがあれば教えて欲しいです ロードアベレージを監視して任意のコマンドを実行するコマンド - blog.nomadscafe.jp いままで使ったことはなかったのですが、monit でできるはず、と思って実験。一般的には、負荷が上がったりプロセスが応答しなくなったら再起動、のような用途に使うツールです。 # /etc/monit/monitrc check system localhost start program = "/path/to/command" if loadavg (1min) > 2 then start[追記] exec を使うほうがよいとのご指摘をコメントでいただきました。 check system localhost if loadavg (1min) > 2 then exec "/path/to/command"これでロードアベレージの1分平均が2を超
Munin 2.0(stable)登場☆新機能はとってもうれしいなって（第1回） | Pocketstudio.jp log3
◆ Munin 2.0 (stable) が遂にリリース！ “リソース推移のモニタリング” ただ、それだけに特化した、監視ツール Munin 。設計思想は、シンプルかつパワフルに。 Munin は、サーバの「リソース推移」を見るためのツール。簡単なセットアップで、ブラウザを通して、サーバの中の様々な状況を、グラフとして見ることができる。例えば、CPUの使用状況や、メモリ、ディスク等々。障害通知の機能は最低限。あくまでリソース推移を簡単に見ることに特化。 単純に数値を見るだけなら、sysstat(sar)や各種のログを見る事でも目的は達成できる。しかし、障害発生の現場においては、複数のサーバから、複数の指標を取得＆比較し、迅速な対応と判断が求められる。そこでは、ログの追跡は時間や人手がかかる。一方、グラフで障害発生ポイントを、視覚的に、迅速に把握できるようになる事は、原因切り分け時間の短縮
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラ勉強会資料 drecomにおけるwinning the metrics battle
Engadget | Technology News & Reviews
http://paperboy-all.github.io/docs/nagios/learning.html
インフラチームを持たない会社でのインフラ運用
今日から業務で使える17の運用系Linuxツール、そして円環の理
サーバ運用の現場でひたすら監視し続けるエンジニアの手の内のすべて