WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
サーバのリソース使用状況レポートを作る - mikedaの日記
数百台のサーバに対して CPU メモリ HDD の使用状況をサクッとチェックしたいなーと思ったのですが、さすがにmuninのグラフで見るのはダルすぎる。 というわけで日次でこういうページを作ってチェックするようにしました。 上記の情報が数字でダーっと並んでて、ついでに簡単に色付けとか、muninへのリンク張りとか、各項目でのソート機能付けたりとかをやってます。 CPUとメモリの使用率は前日の平均、ディスク使用率はバッチ実行時の値です。 最初はmuninのRRDファイルから作ろうかと思ったのですが（gist）、この程度の情報ならsysstatやdfの結果から作るほうが簡単なので、sshで集めてくることにしました。 とりあえずHTMLに出力してますが、CSVで出したりDBに突っ込んだりすれば各種調査に便利ですよ！ ソースコード Ruby1.9版です #!/usr/local/bin/ruby
GrowthForecastでAPI使って複合グラフ作ったり、グラフの色を変えたりしてみた - mikedaの日記
最近、大ブームなFluentd+GrowthForecastを試し始めました！ で、サクッと『GrowthForecastで複合グラフ作ったりグラフいじったりするの┌┤´д`├┐ﾀﾞﾙ〜』となりました。 なんとかサボれないかなーとソースを眺めていたら、JSON APIっぽいものがあるのに気づきました。 GrowthForecast:Web.pm @tagomorisさんが最近コミットしたようです。 add json api to get/list/edit graph and complex, and to create complex それっぽいURL叩くとJSONが返ってくる！ [mikeda@fluentd01 api]$ curl -s http://localhost:5125/json/list/graph [{"service_name"=>"test","graph_nam
Fluentd Meetup 2で話してきました - mikedaの日記
というわけでFluentd Meetup #2で話してきました！！！ Fluentd meetup #2 from Tomohiro Ikeda Fluentd & TreasureDataに関する使ってみた系の発表です。 資料みづらいっすねー ※『事前アンケートの結果、7割の人がFluentdを既に使っています』（ホントか！？）と言われてすごく焦りました。 で、GREE初突入、参加者200人、ということでドキドキワクワクだったわけですが・・・ 事前にプロジェクタのチェックをやっていなかった自分はまさかの大失態！！！ 当日はこんなありさまでした・・・ 自分の順番がくる（トリなので入れ替え不可能） PCをプロジェクタに接続するもうまく映らない いじってるうちにPCの画面が真っ黒に 再起動してもなおらない＼(^o^)／ｵﾜﾀ ファイルのバックアップ取ってない・・・ セーフモードで起動してみる
Treasure Dataの解析プラットフォームを使ってみた - mikedaの日記
ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやAmebaはHiveを使ってるとの情報がある。 『Hive on AWS @ COOKPAD』 『Amebaのログ解析基盤』 （どっちも古い。HiveはHadoop上でSQL（っぽく）ログ解析するためのプロダクトです） 「面白そうだなー。でもHadoopよくわからん、というかサーバいっぱいいりそうだから承認通すのめんどくさい(´・ω・｀)」 とか思ってたらSoftwareDesignの最新号にこんな記事が。 Cookpadの人 「Treasure Dataは...ログ解析用の商用プラットフォームを提供しています。 Fluentd経由で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
