稼働中のFluentdにflowcounter pluginを導入してみた
稼働中のFluentdが、時間帯あたりどの程度のトラフィックを捌いているのかをモニタリングしたいな、、と思って色々探していたら、"fluent-plugin-flowcounter"というプラグインがまさにその目的のために作られたプラグインだったので、導入してみました。 以下、備忘録的に。 fluent-plugin-flowcounter Fluentd界では知らない人がいないtagomoris先生作成のプラグインです。 基本的には、streamで流れてきたデータの"count(件数)"ならびに"bytes(データサイズ)"を計測してくれるプラグインです。 詳しくはgithubのREADMEや、tagomoris先生のブログ記事を参照すると良いと思います。 https://github.com/tagomoris/fluent-plugin-flowcounter http://d.ha
FluentdのデータをGraphiteに出力するときのTips - aptheia.info
fluent-plugin-graphite 利用時のメモ。 Ops界隈での可視化というと、ここ何年かはGraphiteでグラフを作ってそれを他のツールで表示する、みたいなのが多い。Fluentdのデータを可視化したい場合はGrowthForecastが使われることが多いけど、Graphite使ってみるといろんなツールと組み合わせられておもしろい。 Fluentd から Graphite へデータを送るのは Fluent-plugin-graphite を使えば簡単に実現できそうなんだけど、プラグイン側のインターフェース(:key や :count といったキーが必要)に合わせて入力のデータを整形する必要がある。 こういった調整は、out_map を使うことで実現できる。 <source> type tail format apache path /var/log/httpd/access
Fluentdの出力結果をStatHatで可視化する - aptheia.info
Fluentdで取得した情報を可視化したいとき、fluent-plugin-growthforecastを使ってGrowthForecastにグラフを作る方法がよく知られている。GrowthForecastはインストール後すぐに使い始められるお手軽ツールなんだけど、それすら面倒くさい、自前で環境を作るのが面倒、というときにはStatHatを使うと簡単に可視化を実現できるという話。 StatHatはシンプルなインターフェースで必要十分な機能があり、しかも無料で使えるというサービス。HTTPでデータを登録するだけできれいなグラフが簡単に生成できるので、幅広い用途で利用できる。 以降、FluentdとStatHatを組み合わせて利用するための設定を説明する。 作業 StathatのSign upにアクセスしてメールアドレスを登録し、折り返し届くメール内のURLからパスワードを登録すればすぐ使い始
Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化
はじめに エンジニアの@ryooo321です。 よろしくお願いします。 今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。 特徴 ・手がかからないデータストア ・さまざまな問い合わせ対応で利用できる柔軟なクエリ ・機敏なMap/Reduceによる集計 ・集計結果をCSVやグラフで可視化 目的 ・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため ・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため 行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd
Fluentd meetup Fukuokaに参加してきた | 大発見 | 大発見
That's News to meな事を紹介します。Web関連の技術者向け情報や、iPhoneアプリ・Macアプリの紹介、趣味の音楽についてのブログです。前から気になっていたfluentdのイベントに参加してきました。 fluentdとGrowthforecastを使うとかなり楽にシステムの監視が可能だと感じました。 サクッとログが構造化できて、解析も楽で、障害や不具合発生時の対処もほぼ自動で行なってくれるのはとっても便利だと思う。 大体、ログはローカルに出力して、scpとかを利用して定期的にバッチ処理で転送して管理する事が多く、何かと作業が煩雑だったりしてたので、fluentd入れれば幸せになれそう。 箇条書きですが、各トークの内容とスライドを書いておきます。 【今さら聞けないfluentdの基本】 @repeatedly “The basics of fluentd” ■個人的感想
Fluentd w/ Ruby 2.0.0-p0 のメモリ使用量 (追記: w/ msgpack v0.5.4) - tagomorisのメモ置き場
いくつかFluentdのベンチマークをとらないとなー、そういえばRuby 2.0.0-p0も出ましたね、ということでベンチマーク取ろうと思ってあれこれ作業してたらなんか変なのを見付けたのでとりあえず記録。 なおベンチマークの結果については、いろいろ取りかたを考え直す必要があるのでまたこんど。 概要 Fluentd の動作環境が Ruby 2.0.0-p0 with jemalloc なケースで Ruby 1.9.3-p392 に較べて大幅に大幅にメモリを食う上、負荷を停止した時にも何かよくわからない挙動を示す。 jemalloc を使わないケースだと 1.9.3 とほとんど変わらないと思われる挙動で jemalloc の必要性が無くなったとかいうわけではない。 詳細 ベンチマークは あるサーバ(4core HT, 16GB RAM)に立てた Fluentd に対し、別のサーバ(同一サブネッ
fluent-plugin-forestで新規ログのチェック - PolyPeaceLight
fluent-plugin-forestはタグを動的に扱うことができて、非常に便利なプラグインです。 マジで @tagomoris ++ です。 <match service.*> type forest subtype file remove_prefix service <template> time_slice_format %Y%m%d%H compress yes path /var/log/${tag}.*.log </template> </match> と書いておくと、service.hogeもservice.fugaも一つの設定で /var/log/hoge.2012112019.XXXXX.log /var/log/fuga.2012112019.XXXXX.log を吐き出してくれます。 便利なんですが次のようなニーズ 新しいタグ(ログ)が追加されたことを知りたい 新
fluent-plugin-filter 作りました - PolyPeaceLight
rubygems fluent-plugin-filter | RubyGems.org | your community gem host github muddydixon/fluent-plugin-filter · GitHub ボットからの閲覧が多いし、ビッグデータ時代()だからって、うちのディスクをあんまり圧迫したくないから、 削除したりしておきたいわ！でも、exec_filterとかはめんどいし、y-ken/fluent-plugin-rewrite-tag-filter · GitHubはちょっと違うんだよなぁ という上記のような人が対象です。 <match test.**> type filter all allow deny status: 404, status: 403, user-agent: /Googlebot/ </match> <match filtere
FluentdとGrowthForecastを使って自分の行動をロギング・可視化する - すぎゃーんメモ
おそらくはそれさえも平凡な日々: もにかじでオレオレ監視ツールについて話してきました GrowthForecast.plで自分ロギングしてみた - by edvakf in hatena の記事のように、FluentdやGrowthForecastを使ったロギングって面白そうだなーと思って自分でもやってみた。 アプリケーション毎のアクティブな時間を取る まず考えたのはこれ。キーイベント発火回数ほど細かくなくても、「アクティブにしている時間の割合」が取れたらそれはそれで良いかな、と。 1秒ごとにアクティブなアプリを調べてロギングしていく。Mac OS Xにおいてアクティブなアプリケーションを調べるならAppleScriptが簡単。 name of (info for (path to frontmost application)) これだけでアクティブにしているアプリケーション名が取れる。
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
td-agent版Fluentdデーモンの特徴と監視 | 外道父の匠
td-agent版Fluentdを大量に導入してみて、かなり快適に動いています。 ただ、若干不安定な部分があり、対応が必要だったので記しておきます。 導入したOS 今のところtd-agentを入れたOSは CentOS 5 Debian Lenny Debian Squeeze td-agentデーモン（プロセス）の特徴 プロセス数 netstatやlsofで見たらわかりますが、tcp, udp用2つで1セットとなっています。 重複起動する /etc/init.d/td-agent start を実行したら実行した分だけ起動していきます。これはCentOSでもDebianでも確認しました。これをやると、/var/run/td-agent/td-agent.pid には新しいTCPプロセスのPIDが記録されていますが、古い方のプロセスも通常通り動作しているため、 ログが重複送信される sto
Fluentd meetup at Slideshare
Fluentd is a log collector that makes log collection easy. It allows users to collect, store, process, and visualize logs in JSON format. Fluentd works by using input plugins to collect logs, output plugins to export logs to different databases and storage systems, and buffer plugins to filter and route logs. Key features include its large number of plugins, support for JSON formatting, and abilit
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - repeatedly/fluent-top: top for Fluentd
GitHub - treasure-data/chef-td-agent: Chef Cookbook for td-agent (Treasure Agent or Fluentd)
GitHub - hotchpotch/fluent-plugin-graphite
GitHub - f440/fluent-plugin-stathat: StatHat output plugin for Fluentd.
HaikankoというFluentdクラスタ管理ツールの話をしてきた(2) - Fluentd側の話 #fluentdcasual : sonots:blog
HaikankoというFluentdクラスタ管理ツールの話をしてきた(1) #fluentdcasual : sonots:blog
fluent-plugin-grepcounter をリリースしました 〜 Haikanko OSS化への道(1) : sonots:blog
fluent-agent-lite と fluentd agent の比較(1) 〜 Haikanko OSS化への道(2) : sonots:blog