Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな
プランナーよりのログ解析基盤のその後 - wyukawa's diary
以前2種類のログ解析基盤 - wyukawa’s blogで書いたログ解析基盤のうち2つ目のプランナーよりのシステムが現在どうなっているかを書いてみたいと思います。 ちなみに1つ目のエンジニアよりのシステムの方も更新はあって、Fluentd+Norikra+Elasticsearch+Kibanaによるリアルタイムモニタリングを始めたり、メルカリでのNorikraの活用、 Mackerelを添えてを真似て、Norikraにクエリを登録したらGrowthForecastに自動でグラフが出来るようにしたり、Norikraでアプリログを集計してリアルタイムエラー通知 # Norikra meetupと少し似ている、Norikraにクエリを登録してログに特定のキーワードがあったらHipChatに通知するようにしたり、といったことをしています。 2つ目のプランナーよりのシステムの全体像はこんな感じで
GitHubとDocker HubのAutomated Buildを組み合わせてGrowthForecastのDocker imageの作成を自動化したハナシ - blog.nomadscafe.jp
タイトルがそのままですが、GrowthForecastのDocker imageを作りました。 https://registry.hub.docker.com/u/kazeburo/growthforecast/ 使い方は単純に起動するだけなら次のようになります。 $ docker run -p 5125:5125 kazeburo/growthforecast これだと、データが永続化されないので、適当なボリュームをマウントします。 $ docker run -p 5125:5125 -v /host/data:/var/lib/growthforecast kazeburo/growthforecast 起動オプションを変更したい場合は、コマンドを渡すか、Dockerfileを書いてビルドすると良いでしょう。 $ docker run -p 5125:5125 -v /host/dat
それFluentdで! #fluentd
社内勉強会で発表した内容です。 ログの収集、分析、可視化までを行なう、 「Fluentd」 「Elasticsearch」 「Kibana」の組み合わせのうち、 今回は「Fluentd」について発表を行いました。 ログの収集方法から、出力先までを柔軟にカスタマイズできるオープンソース・ソフトウェアです。
hamashun me : ディレクター目線での HRForecast と GrowthForecast の違いについて
職場ではいくつかのデータビジュアライズツールを使っていますが、HRForecast と GrowthForecast の違いが分かりづらいなーと思ったので、調べてまとめてみました。 おかしな点とかあったら指摘して貰えると嬉しいです。 HRForecast GrowthForecast グラフの更新頻度 最小で 1 時間単位 最小で 1 分単位 グラフの期間指定 週間 月間 年間 年間 月間 週間 3日間 日間 8時間 4時間 1時間 半日 その他任意 エクスポート CSV, HTML JSON 複合グラフ 可 可 過去データの登録 可 不可 特定の日時の数値を正確に把握できるか グラフにマウスオンで正確な数値が見られる グラフからは分からない 他のページへの埋め込み方法 iframe のソースコードが提供される スクショ撮って貼り付けよう！ 適した使い方 デイリーで観測したい CSV や
GrowthForecastに --kibanize オプションつけた - たごもりすメモ
要するにおまえらは黒っぽいグラフならいいんだろ？ ということで、そのような欲望を現実のものにするためのパッチを書いてpullreqを出しました。 https://github.com/kazeburo/GrowthForecast/pull/63 このグレートなパッチにより --kibanize オプションをつけて起動したGrowthForecastの画面がこのようになります。 色指定などは全面的にこちらから頂きました。グレートなエントリです。 rrdtoolは癒し - 桝原翔市的博客 ※ なお全体的にやっつけのため、Twitter BootstrapがゴニョゴニョやっていてCSSで簡単に色指定を上書きできない場所などが白いまま残ってたりします。みんなで頑張って更に格好よくしよう！
jstatでJVMの統計情報を取得してGrowthForecastに投げて、グラフを作ってくれるスクリプト書いた - blog.nomadscafe.jp
先日のJVM Operations Casual Talks、GCやメモリ管理についてまとまった発表や、モニタリングの手法などの話が聞けてよい会でした。 微妙に意識が高まっているところで、メモリ使用量やGCの統計情報を取得して、GrowthForecastでグラフを作ってくれるスクリプトを書きました。それPla、それFluentd系のやつです https://github.com/kazeburo/jstat2gf この元ネタは JVM Operation Casual Talksでのモリスさんの発表にでてきたグラフです。あれを簡単に作れるツールになります。 某JVMのプロセスに対して実行すると、こんな感じのグラフになります。上から「NEW領域」「OLD領域」「Permament領域」「1秒あたりのFull GCの回数」「1秒あたりのFull GCにかかった時間」となっています。 なんかF
JAWS DAYS 2014で「これで最強のAWSに」のセッションをやりました - まめ畑
JAWS DAYS 2014のセッションとして、これで最強のAWSにというセッションをやりました。 Twitterなどの反応はこちらに2014/03/15 JAWS DAYS 2014 - 『これで最強のAWSに』セッション #jawsdays #最強のAWS - Togetterまとめ まとめて頂いています。各セッションの発表資料はタイムテーブルからリンクがあります。 このセッションは、普段AWSを使っている方々をお呼びして、使っているからこそわかるAWSのイマイチなところ、イケてるところ、バッドノウハウ、こうしたら・こうなったらもっと良くなるのにという話をして頂きました。当日はOFAのMilesさんと、AWS SAの大谷さんにもご参加頂き、直接要望や実際のところどうやったらいいのさ？という事を直接伝える場があったらなと思い企画しました。(企画の大本は実はre:Invent2013開催中
Heroku で動作する GrowthForecast みたいなグラフツール Hoshi-mi を作っていました
Heroku で動作する GrowthForecast みたいなグラフツール Hoshi-mi を作っていました こんにちは。企画担当の @mallowlabs です。 今回は Hoshi-mi というツールのご紹介をしたいと思います。 グラフツールといえば GrowthForecast が人気です。 最近は、GrowthForecast の Ruby 版である FocusLight も登場しており、 一層の盛り上がりを見せています。 さて、この GrowthForecast/FocusLight ですが、Heroku で動かすのに手間がかかるという人によってはすごく小さく、私達にとっては大きな問題があります。 そこで Heroku フレンドリーなグラフツールとして開発したのが Hoshi-mi です。 Rails 3.2 + PostgreSQL + morris.js という組み合わせ
Focuslight v0.1.0 - たごもりすメモ
グラフツールをひとつ作り、ひととおり動くらしいところまでいったので、とりあえず v0.1.0 としました。Focuslight と名付けています。 https://github.com/tagomoris/focuslight これは何かというと、このblogでも何度も紹介している GrowthForecast のRuby移植版です。同じ機能というだけでなく、内部データの互換性がありますし、HTTP APIの互換性も可能な限り保っています。ビューまわりは丸パクりしてます。 既に日本国内ではGrowthForecastは割と知られているだろう、という前提で説明をすると、これは「GrowthForecastの話は聞くが、でもPerlのツールはなー、ちょっとなー」というわがままさんのために作られたものであり、それ以上でもそれ以下でもありません。自分はおそらく今後もGrowthForecastを使
Supervisorで簡単にデーモン化 - Qiita
やりたいこと 常時起動させたいスクリプトなど、デーモンプロセスとして動かしたいことがあると思います。 しかし例えば/etc/init.dのスクリプトなどを自分で書くとなると・・・ PIDファイルの管理をいちいち書くのが面倒でミスりやすい。 ステータスの取得とかも同様。 そもそもそんなローレベルのツールを使わなくてもよい。もっとユーザレベルに近いもので充分。 一般ユーザで起動停止くらいさせたい。 つまりは、大体同じ様になるはずの 「プロセス管理スクリプト書くのが面倒」 なのと、 サービスとして登録してしまうと 「基本はrootで起動停止管理」 になるので、 この２つを避けたいということになります。 systemdを使うとスクリプトを書く必要はなくなりますが、 rootでなければ起動停止ができない、という扱いにしたくない。 stdout/errに色々吐きまくって直したくない。 システムのサービ
転職してから半年くらいでやったことまとめ - Perl日記
IRCを導入した 遠隔地で作業しているひともいた中でメールでのやりとりはとても面倒だった。 (同じオフィスで開発してるひとからもメールでいろいろ来た) だるかったので、ngIRCdを導入して、やりとりがすごく楽になった。(基本英語だが) リポジトリを分割した サーバに置いてあるものがすべて1つのリポジトリで管理されていた。(僕は泣いた) だるかったけど、頑張って適切なサービスの単位で分割した。 ファイルサーバ作った クラウドに置かないほうがいいファイルとか共有するため。 ユニットテスト直した ぶっ壊れていたのをとりあえず動くようにしてから、とにかく自分が触るところを中心に追加していった。 カバレッジが最初は30%くらいだったけど、いまは90%近くまで上がっていて、 僕に多少の精神的な安寧をもたらしてくれている。 Pull Reqestベースの開発にした それまでは(ローンチ後も)maste
dstatをfluentd + GrowthForecastで可視化する - Qiita
dstatの結果をfluentd経由でGrowthForecastに投げる方法は、ぐぐると何件かブログ記事がでてきます。 ただ、どれもdstatを改造したり、プラグインを改造したりしてて、あまり使い勝手がよくありません。 というわけで、gemでいれれるプラグインだけを使って、可視化できる設定を探してみました。 準備 必要なgemをインストールする。 <source> type dstat tag dstat option -cm delay 3 </source> # GrowthForecast用にメッセージを加工する <match dstat> type copy # CPU関連の結果だけを取り出す <store> type map tag "perf.cpu" time time record record['dstat']['total cpu usage'] </store> #
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
