Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
ご存知の通り、ApacheのVirtualHost（以下vhost）、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測（秒とか分のオーダー）にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある（静的コンテンツ）ため、正確に計測することは難しくな
GitHubとDocker HubのAutomated Buildを組み合わせてGrowthForecastのDocker imageの作成を自動化したハナシ - blog.nomadscafe.jp
タイトルがそのままですが、GrowthForecastのDocker imageを作りました。 https://registry.hub.docker.com/u/kazeburo/growthforecast/ 使い方は単純に起動するだけなら次のようになります。 $ docker run -p 5125:5125 kazeburo/growthforecast これだと、データが永続化されないので、適当なボリュームをマウントします。 $ docker run -p 5125:5125 -v /host/data:/var/lib/growthforecast kazeburo/growthforecast 起動オプションを変更したい場合は、コマンドを渡すか、Dockerfileを書いてビルドすると良いでしょう。 $ docker run -p 5125:5125 -v /host/dat
GrowthForecast! - skaji's blog
前のエントリーで リロケータブル＝どこに置いても使える Perl が欲しいと書いた。 その有用性を示すため、GrowthForecast をインストール済の relocatable でビルドした Perl を用意してみた。 https://github.com/shoichikaji/relocatable-perl-growthforecast 64 bit の linux をお使いなら、好きなディレクトリに移動して > wget https://github.com/shoichikaji/relocatable-perl-growthforecast/releases/download/0.02/perl-5.18.2-linux-x86_64-0.02.tar.gz > tar xzf perl-5.18.2-linux-x86_64-0.02.tar.gz > perl/bin/
Intel Galileoで集めたセンサーデータをFluentd + GrowthForecastでグラフ化する - hrdakinori's blog
Android Bazaar and Conference 2014 Spring http://www.android-group.jp/conference/abc2014s/に参加してきました Androidに関係のないGalileoを使った物を展示してました(^^;) まずセンサーデータはXBeeのメッシュネットワークを使用してGalileoに送ります。 ・温度センサー(LM60BIZ)は、XBeeのA/D変換を使って周期的に計測 ・温度,湿度センサー(AM2321)、気圧センサー(LPS331)は、LPC812にI2Cで接続して周期的に計測 LPC812のところをLPC810で出来ると良いなぁ GalileoではXBeeからのデータをまとめて、JSONにしてサーバー(ConoHa VPS)に送る。 データの処理にはFluentdを使います。 1. GalileoからFluentd
hamashun me : ディレクター目線での HRForecast と GrowthForecast の違いについて
職場ではいくつかのデータビジュアライズツールを使っていますが、HRForecast と GrowthForecast の違いが分かりづらいなーと思ったので、調べてまとめてみました。 おかしな点とかあったら指摘して貰えると嬉しいです。 HRForecast GrowthForecast グラフの更新頻度 最小で 1 時間単位 最小で 1 分単位 グラフの期間指定 週間 月間 年間 年間 月間 週間 3日間 日間 8時間 4時間 1時間 半日 その他任意 エクスポート CSV, HTML JSON 複合グラフ 可 可 過去データの登録 可 不可 特定の日時の数値を正確に把握できるか グラフにマウスオンで正確な数値が見られる グラフからは分からない 他のページへの埋め込み方法 iframe のソースコードが提供される スクショ撮って貼り付けよう！ 適した使い方 デイリーで観測したい CSV や
GrowthForecastに --kibanize オプションつけた - たごもりすメモ
要するにおまえらは黒っぽいグラフならいいんだろ？ ということで、そのような欲望を現実のものにするためのパッチを書いてpullreqを出しました。 https://github.com/kazeburo/GrowthForecast/pull/63 このグレートなパッチにより --kibanize オプションをつけて起動したGrowthForecastの画面がこのようになります。 色指定などは全面的にこちらから頂きました。グレートなエントリです。 rrdtoolは癒し - 桝原翔市的博客 ※ なお全体的にやっつけのため、Twitter BootstrapがゴニョゴニョやっていてCSSで簡単に色指定を上書きできない場所などが白いまま残ってたりします。みんなで頑張って更に格好よくしよう！
Ansible で Growthforecast をインストールする方法
最近 Ansible ブームな私としては Docker で Growthforecast をインストールする方法 を見ると、Ansible でもやりたくなってしまうのです。ということで、サクッと GrowthForecast をインストールする Playbook をちゃちゃっと書いてみました。 まだブラッシュアップの余地はありますし、CentOS 向けのところしか書いてない。 Debian / Ubuntu とか他の Linux Distribution 用のところは誰かよろしく。Gentoo だとオレオレ ebuild 書けばこんなのいらない？ 今回の Playbook は AWX のインストーラーを参考にしたので Ansible AWX を試す その2 #ansible が参考になります。 Playbook は GitHub ( https://github.com/yteraoka/
Docker で Growthforecast をインストールする方法 - tokuhirom's blog
ちょいちょい GrowthForecast のインストールが perl だから難しいとかいってる人をみかけるけれど、Dockerfile が用意してあれば、セットアップは簡単になるんじゃないだろうか。 audreyt が Dockerfile で配布する方法で irc logger を配布していたし、それを真似してみるのもアリかもしれない。そんな風におもって僕もやってみることにした。 Docker をつかうと、アプリをふくんだイメージを簡単に配布することが可能となる。インストール手順をごちゃごちゃとブログに書いたりするのもいいけれど、Dockerfile を共有したほうがいいのではないだろうか。再現可能だし。chef でもなんでもいいけど、docker はインストールが簡単なのがいいし、覚えることがすくなくていい。 いらなくなったら、イメージごとポイすればいいだけで、簡単だしね。 さて本題
gfspark: GrowthForecastのグラフをターミナルに表示する - ( ꒪⌓꒪) ゆるよろ日記
というコマンドを作った。みんな大好きGrowthForecast!! gfspark yuroyoro/gfspark · GitHub Installation $ gem install gfspark Usage 以下の3つのいずれかの方法でグラフを指定してくれ。 gfspark "グラフのURL" gfspark your_service/your_section/your_graph h --url=http://your.gf.com gfspark your_service your_section your_graph h --url=http://your.gf.com Complex Graphには対応してない。あと、内部でsttyコマンドを使ってるのであっWindows…… グラフが上手く表示されない場合は、`-n`オプションを試してみてくれ。例えば、フォントがRic
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast 去年あたりから急速に知名度をあげている[生ログ収集 → グラフ表示]のツールとしてFluentd + GrowthForecastがあります。 いろいろなblogで紹介されていることからも人気の高さが伺えます。 なぜ、こんなに人気なのかというと、 ログ収集基盤としてFluentd、メトリクス収集とグラフ化のGrowthForecastともに、 コンパクト・扱いやすさ・完成度が高く・いろいろな応用が効きプラガブル・かつ簡単に導入可能といったところが挙げられるでしょう。 今回は、nginxのインストールから始め、MySQL、perlbrew、cpanmといった周辺ミドルウェアのインストール方法も網羅して紹介していきます。 また、ngin
MySQL5.6で今までのVerでは問題無かったSQL文がエラーになった場合の対処法 - oranie's blog
追記：記事の文中で5.6のsql_modeデフォルト値について若干実際の挙動と異なる表記をしていました。rpmでinstallすると/usr/my.cnfというのがひょっこりいて、この中に [mysqld] sql_mode=NO_ENGINE_SUBSTITUTION,STRICT_TRANS_TABLES という記述があり、これを/etc/my.cnfと合わせて設定している様です。で、デフォルト値については5.6.6以降はデフォルト値が「The default SQL mode in MySQL 5.6.6 and later is NO_ENGINE_SUBSTITUTION;」でそれ以前のデフォルト値は「MySQL 5.6.5 and earlier, it was empty (no modes set)」となっているようですね。 詳しくは http://yoku0825.blo
FluentdとGrowthForecastを使って自分の行動をロギング・可視化する - すぎゃーんメモ
おそらくはそれさえも平凡な日々: もにかじでオレオレ監視ツールについて話してきました GrowthForecast.plで自分ロギングしてみた - by edvakf in hatena の記事のように、FluentdやGrowthForecastを使ったロギングって面白そうだなーと思って自分でもやってみた。 アプリケーション毎のアクティブな時間を取る まず考えたのはこれ。キーイベント発火回数ほど細かくなくても、「アクティブにしている時間の割合」が取れたらそれはそれで良いかな、と。 1秒ごとにアクティブなアプリを調べてロギングしていく。Mac OS Xにおいてアクティブなアプリケーションを調べるならAppleScriptが簡単。 name of (info for (path to frontmost application)) これだけでアクティブにしているアプリケーション名が取れる。
#fluentd でアクセスログからメトリクス生成/リアルタイム監視するための設定例 - たごもりすメモ
このエントリは ウィークリーFluentdユースケースエントリリレー の参加エントリです。 いろいろアレでアレなときに回ってきて新ネタを思い付く余裕がないので、手元の設定を晒して解説しお茶を濁そうと思います。ユースケース！ 前提は以下の通り。 アクセスログ このサーバに送られてくる前の段階で適当にparseされている(いちおう in_file の apache 互換の名前のはず？) sampling_filter プラグインにより 1/1, 1/10, 1/100 それぞれの割合でサンプリングされている(基本は1/10) いくつかのメトリクス計算を行い、それらをGrowthForecastへグラフ登録、一部のものはリアルタイム監視を行いIRC通知する ping message ping_message プラグイン(および fluent-agent-lite の -P オプション)による p
GrowthForecastをHerokuで動かしてみる - As a Futurist...
Heroku といえば PaaS では一番有名かなぁと思います。オフィシャルには perl はサポートされてないんですが、buildpack というスクリプト群を準備してあげると perl も使えます。miyagawa さんが公開されているものを少しだけ改造して、それを利用して GrowthForecast を Heroku で動かしてみました。 riywo/heroku-buildpack-perl riywo/GrowthForecast at heroku-dev 当然鬼門は RRDtool GrowthForecast を動かすにあたって、一番の鬼門はご存知 RRDtool になります。依存ライブラリが多く、入っていない場合にはそのインストールが必要になります。gfx さん作のAlien::RRDtoolが Makefile.PL の依存に書かれているので、もし必要なライブラリが一
GrowthForecast-Aggregator-Declare - tokuhirom's blog
https://metacpan.org/release/GrowthForecast-Aggregator-Declare use GrowthForecast::Aggregator::Declare; my @queries = gf { section member => sub { # post to member/count db( name => 'count', description => 'The number of members', query => 'SELECT COUNT(*) FROM member', ); }; section entry => sub { # post to entry/count, entry/count_unique db_multi( names => ['count', 'count_unique'], descriptions
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.inouetakuya.info/entry/20130216/1361015295
http://blog.inouetakuya.info/entry/20130211/1360570283
