Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな
dstat の結果を fluentd を利用して growthforecast に飛ばすチートシート
どうも、三丁目の可視化野郎ことかっぱ (@inokara)です。ちょっと急ぎでインスタンスのリソース可視化環境を作る必要になりましたとさ…。 はじめに CloudWatch を補助する意味合いもあり dstat での結果を fluentd と growthforecast を利用して可視化したいと思います。本記事作成にあたり以下を参考にさせて頂きました。 dstatをfluentd + GrowthForecastで可視化する dstat + fluentd + Graphite + Grafana でサーバモニタリングする 登場人物 dstat fluentd(td-agent) Growthforecast それぞれの登場人物についての説明は割愛させて頂きます。Amazon Linux の場合には dstat はインストールが必要ですのでご注意下さい。 sudo yum install
GitHubとDocker HubのAutomated Buildを組み合わせてGrowthForecastのDocker imageの作成を自動化したハナシ - blog.nomadscafe.jp
タイトルがそのままですが、GrowthForecastのDocker imageを作りました。 https://registry.hub.docker.com/u/kazeburo/growthforecast/ 使い方は単純に起動するだけなら次のようになります。 $ docker run -p 5125:5125 kazeburo/growthforecast これだと、データが永続化されないので、適当なボリュームをマウントします。 $ docker run -p 5125:5125 -v /host/data:/var/lib/growthforecast kazeburo/growthforecast 起動オプションを変更したい場合は、コマンドを渡すか、Dockerfileを書いてビルドすると良いでしょう。 $ docker run -p 5125:5125 -v /host/dat
GrowthForecast! - skaji's blog
前のエントリーで リロケータブル＝どこに置いても使える Perl が欲しいと書いた。 その有用性を示すため、GrowthForecast をインストール済の relocatable でビルドした Perl を用意してみた。 https://github.com/shoichikaji/relocatable-perl-growthforecast 64 bit の linux をお使いなら、好きなディレクトリに移動して > wget https://github.com/shoichikaji/relocatable-perl-growthforecast/releases/download/0.02/perl-5.18.2-linux-x86_64-0.02.tar.gz > tar xzf perl-5.18.2-linux-x86_64-0.02.tar.gz > perl/bin/
Intel Galileoで集めたセンサーデータをFluentd + GrowthForecastでグラフ化する - hrdakinori's blog
Android Bazaar and Conference 2014 Spring http://www.android-group.jp/conference/abc2014s/に参加してきました Androidに関係のないGalileoを使った物を展示してました(^^;) まずセンサーデータはXBeeのメッシュネットワークを使用してGalileoに送ります。 ・温度センサー(LM60BIZ)は、XBeeのA/D変換を使って周期的に計測 ・温度,湿度センサー(AM2321)、気圧センサー(LPS331)は、LPC812にI2Cで接続して周期的に計測 LPC812のところをLPC810で出来ると良いなぁ GalileoではXBeeからのデータをまとめて、JSONにしてサーバー(ConoHa VPS)に送る。 データの処理にはFluentdを使います。 1. GalileoからFluentd
fluentd + growthforecastを早速試してみた - アルパカDiary Pro
Fluentd Casual Talks に参加させていただき、 いろいろと捗る話を聞いていうちに 「Fluentdやばいこれは使うしかない！」 というテンションになったので早速試してみました。 インストール gem install fluent # 捗りそうなプラグインも gem install fluent-plugin-mongo gem install bson_ext gem install fluent-plugin-flowcounter gem install fluent-plugin-datacounter gem install fluent-plugin-growthforecast 今回試すアプリ ping のレスポンスをログって、そのままgrowthforecastに投げて可視化するまでを目標とします。 pingをログるスクリプト use strict; use
dstatをfluentd＋growthforecastでグラフ化(後編) - アルパカDiary Pro
前編の続き。 続きとはいってもGrowthforecastの複合グラフを作るスクリプト書いたっていうだけの記事です。 スクレイピングでがんばった！ｗ 書き捨てもいいところですね… config.yaml 先ほどのdstatの複合グラフを作りたい時はこんなかんじでしょうか --- host: localhost:5009 complex: - name: cpu_complex regex: ^cpu - name: disk_complex regex: ^dsk - name: io_complex regex: ^io - name: load_avalage_complex regex: ^la - name: mem_complex regex: ^mem - name: net_complex regex: ^net スクリプト実行 以下のコマンドを叩くと自動で生成されます。 p
dstatをfluentd＋growthforecastでグラフ化(前編) - アルパカDiary Pro
とあるクラスタ（複数台あるサーバ）に対して性能評価しているときに dstatでリアルタイムに数値見ながら評価したいんですが さらにまとめてリアルタイムグラフ化出来たら嬉しいのではないかなーと。 お、これはfluentd+growthforecastの出番では…！ と思い早速試してみましたよっと。 全体像 ノードサーバ（監視される側） 各サーバでdstatを収集／整形しログに出力 fluentdでgrowthforecastAPIを叩く グラフ生成サーバ（growthforecast） config生成plackアプリを起動（今回はログ収集サーバで実行しているが、本来はどこで起動してもよい） growthforecastプラグインでグラフ化 ※最初考えていた構成ではグラフ生成サーバでログを受け取ってから growthforecastに流しこんでました。 ログファイル自体も収集したい時にはその
Ansible で Growthforecast をインストールする方法
最近 Ansible ブームな私としては Docker で Growthforecast をインストールする方法 を見ると、Ansible でもやりたくなってしまうのです。ということで、サクッと GrowthForecast をインストールする Playbook をちゃちゃっと書いてみました。 まだブラッシュアップの余地はありますし、CentOS 向けのところしか書いてない。 Debian / Ubuntu とか他の Linux Distribution 用のところは誰かよろしく。Gentoo だとオレオレ ebuild 書けばこんなのいらない？ 今回の Playbook は AWX のインストーラーを参考にしたので Ansible AWX を試す その2 #ansible が参考になります。 Playbook は GitHub ( https://github.com/yteraoka/
Docker で Growthforecast をインストールする方法 - tokuhirom's blog
ちょいちょい GrowthForecast のインストールが perl だから難しいとかいってる人をみかけるけれど、Dockerfile が用意してあれば、セットアップは簡単になるんじゃないだろうか。 audreyt が Dockerfile で配布する方法で irc logger を配布していたし、それを真似してみるのもアリかもしれない。そんな風におもって僕もやってみることにした。 Docker をつかうと、アプリをふくんだイメージを簡単に配布することが可能となる。インストール手順をごちゃごちゃとブログに書いたりするのもいいけれど、Dockerfile を共有したほうがいいのではないだろうか。再現可能だし。chef でもなんでもいいけど、docker はインストールが簡単なのがいいし、覚えることがすくなくていい。 いらなくなったら、イメージごとポイすればいいだけで、簡単だしね。 さて本題
Fluentdってなんじゃ？（datacounter+Growthforecast＋RDSでステータスコードの傾向を可視化)
Fluentdってなんじゃ？（datacounter+Growthforecast＋RDSでステータスコードの傾向を可視化) Fluentdではさまざまなデータを構造化することができるので、フロント側の可視化ツールに渡すことも柔軟に対応できます。今回はGrowthForecastという可視化ツールに表示させてみます。 データはApacheのログを使い、表示する内容はHTTPステータスコードの2xx,3xx,4xx,5xxのそれぞれの回数を時系列で表示してみたいと思います。またGrouthForecastはデータのスタックにDBを使用し、デフォルトではsqlite3ですが、今回はRDSのMySQLを利用してみます。
2012年を振り返ってみる - たごもりすメモ
世界が滅亡することもなく2012年も本日で無事終わるようなので、すこし振り返ってみる。去年と同じようにやろうかと思ったんだけど時期ごとの特徴みたいなものがあんまりなかったので、トピックごとに適当にまとめる。 Fluentd とにかくこれでしたねー。Fluentdを本格的に使いはじめて、プラグインや周辺ツールを書きまくった。いま数えてみたら自分がリリースした fluent-* なgemは21個*1でした。けっこうがんばった。 fluent-plugin-delay-inspector fluent-plugin-ping-message fluent-mixin-config-placeholders fluent-plugin-config-expander fluent-plugin-woothee fluent-mixin-plaintextformatter fluent-plugi
GrowthForecastでAPI使って複合グラフ作ったり、グラフの色を変えたりしてみた - mikedaの日記
最近、大ブームなFluentd+GrowthForecastを試し始めました！ で、サクッと『GrowthForecastで複合グラフ作ったりグラフいじったりするの┌┤´д`├┐ﾀﾞﾙ〜』となりました。 なんとかサボれないかなーとソースを眺めていたら、JSON APIっぽいものがあるのに気づきました。 GrowthForecast:Web.pm @tagomorisさんが最近コミットしたようです。 add json api to get/list/edit graph and complex, and to create complex それっぽいURL叩くとJSONが返ってくる！ [mikeda@fluentd01 api]$ curl -s http://localhost:5125/json/list/graph [{"service_name"=>"test","graph_nam
dstatをfluentd + GrowthForecastで可視化する - Qiita
dstatの結果をfluentd経由でGrowthForecastに投げる方法は、ぐぐると何件かブログ記事がでてきます。 ただ、どれもdstatを改造したり、プラグインを改造したりしてて、あまり使い勝手がよくありません。 というわけで、gemでいれれるプラグインだけを使って、可視化できる設定を探してみました。 準備 必要なgemをインストールする。 <source> type dstat tag dstat option -cm delay 3 </source> # GrowthForecast用にメッセージを加工する <match dstat> type copy # CPU関連の結果だけを取り出す <store> type map tag "perf.cpu" time time record record['dstat']['total cpu usage'] </store> #
[CentOS]fluent と GrowthForecast を連携させてグラフを作ってみる #02 – (っ´∀｀)っ ゃー | 一撃
今回は、こちらの作業の続きです。fluentでログが採れたところからの作業となります。いよいよグラフ化するところに入ります。RRDtoolはCentOSのパッケージからインストールするとうまく動かないとのことなので、GrowthForecastのみPerlを最新化しつつRRDtoolも独自にインストールします。 ■ 何はなくとも下準備 GrowthForecastを動かすために、以下のパッケージをyumの標準リポジトリからインストールします。 [cc lang='bash' ] [admin@mega21 log]$ sudo yum install glib2-devel gettext libxml2-devel pango-devel cairo-devel [admin@mega21 log]$ cd [/cc] ■ perlbrewインストール GrowthForecast実行ユ
![[CentOS]fluent と GrowthForecast を連携させてグラフを作ってみる #02 – (っ´∀｀)っ ゃー | 一撃](https://cdn-ak-scissors.b.st-hatena.com/image/square/eac89ac41d95d3e1b3be0d3f562ad499092356c7/height=288;version=1;width=512/https%3A%2F%2Fnullpopopo.blogcube.info%2Fwp-content%2Fuploads%2F2012%2F08%2FScreenshot.png)
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yohoushi という分散 GrowthForecast グラフツールを作りました : sonots:blog
http://blog.inouetakuya.info/entry/20130211/1360570283
cloudpackブログ - Fluentdってなんじゃ？（datacounter+Growthforecast＋RDSでステータスコードの傾向を可視化)