Kibana 3 + Rails + Fluentdのサンプルアプリを作ってみた - y_310's diary
miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co
munin-node → Fluentd → GrowthForecast でオレオレモニタリングツールへの道? - 酒日記 はてな支店
できるかなと思って、とりあえず繋げてみたのでメモ。中途半端。 munin-node → Fluentd munin-ruby で取得した値をまるごと fluentd に送信するスクリプトをcronで1分ごとに実行。 #!/usr/bin/env ruby require "munin-ruby" require "fluent-logger" host = "localhost" node = Munin::Node.new(host) logger = Fluent::Logger::FluentLogger.new("munin") node.list.each do |key| values = node.fetch(key) logger.post("#{key}.#{host}", values[key]) end このようなメッセージが飛びます。 2012-06-12T08:4
About Tarcieri-san's Cool.io and Celluloid
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message Hello,I read this announcement in Twitter => https://twitter.com/#!/bascule/status/187377279310106624 made by @tarcieri regarding the development status from Cool.io and giving the suggestion of considering instead his most recent work Celluloid, https://github.co
fluentdのプラグインは簡単に作成できる - ぽにくすじゃないだいありー
開発, plugin, fluentd | 23:34 | fluentd --setup すると、そのディレクトリには fluent.conf と plugin ディレクトリが作成される。標準時は /etc/fluent/plugin のプラグインが読み込まれるが、-p でプラグインのパスを指定すればそこからプラグインを読み込むので、簡単にプラグイン開発ができる $ fluentd -c ./fluent/fluent.conf -p ./fluent/plugin プラグインの動作を確認したら CTRL+C で止めればよい。最も簡単な入力プラグイン # ./fluent/plugin/in_hoge.rb class HogeInput Fluent::Input Fluent::Plugin.register_input('hoge', self) def start Fluent:
続 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - たごもりすメモ
前回の話から、メモリについては西海岸方面の協力を得てあれこれ試していた。 #fluentd の性能・リソースに関する最近のいくつかの傾向の話 - tagomorisのメモ置き場 最終的には ruby 1.9.3-p125 + jemalloc + fluentd v0.10.16 でメモリ使用量が安定した。 jemallocについてはこのあたりを読むといいんじゃないでしょうか(自分で説明するのはめんどくさいｗ) jemallocとかLD_PRELOADについて調べてみた - As a Futurist... 結果、ピーク時間帯になっても used 6GB に行かないくらい。ワーイヤッタヨー。 ということでjemallocは社内用rpm*1を用意し fluentd 起動用のshファイル(supervisordからこれを指定して起動している)を以下のようにした。LD_PRELOADを加えただけ
#fluentd の性能・リソースに関する最近のいくつかの傾向の話 - たごもりすメモ
いくつかそれぞれ違う内容のことについて書きます。また複数の変更をほぼ同時期にやったケースもあり「お前それ分けてやれよ」と言いたくものがあるかもしれません。いや分かってはいるんだけど、そうそう変更ばっかりもしてられないからまとめてやりたいじゃんよ。 前提ですが、今回出てくるサーバはすべて、fluentdのみを8プロセスずつ起動している物理サーバです。fluentd meetupのときに「deliverサーバ」として紹介したやつ。各Webサーバからログを受け、アーカイブサーバにscribeプロトコルで送ると同時にロードバランスしてログ変換サーバに forward で送る配送サーバ。out_forwardのインスタンスが57あります。 ruby 1.9.2 -> 1.9.3 にした 前々から全くトラフィックの流れていないスタンバイ用のサーバでもメモリの使用量が徐々に上がっていって定期的な再起動が
#fluentd のためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
wallyqs/fluent-logger-rails - GitHub
README.orgFluent Logger Rails README Note: Not tested in production Introduction This is a basic gem that provides a FluentLoggerRails::Logger which can be swapped instead of the default Rails 3 logger. Usage In order to swap the Rails default logger, we require the railtie included in the gem so that it is loaded during Rails initialization process. gem 'fluent-logger-rails', :require => 'fluent_
td-agentのレポジトリが公開されたのでちょっとカスタマイズしてみた #fluentd - As a Futurist...
最近のマイブームはfluentdなんですが、やっぱりrubyとかまでマジメにセットアップしようとするとどうしてもハードルが高いですよね。特にアプリサーバ側に入れる場合、数も多いですしなるべく簡単にインストールしたいものです。 fluent-agent-lite じゃ物足りない方へ td-agent ログをパースせずに単純にfluendに forward するだけなら先日公開された@tagomoris さんの fluent-agent-lite を使ってみるのが簡単だと思います。 #fluentd 用ログ収集専用のエージェント fluent-agent-lite 書いた – tagomoris のメモ置き場 ただ、in_tailプラグインを使ってパースして構造化した状態でfluentdの流れに乗せるのと同じことをやろうと思うと、送られた側でout_exec_filterとかする必要があって、
#fluentd やっつけのfluentd監視用Nagiosプラグインを書いた - oranie's blog
まあ、そのまんまです。fluentdの死活監視を考えた時に ポートチェック プロセスチェック 等がありますが、せっかくなので監視ログが一定時間以内に流れてくるかどうか という監視も入れてみようと考えました。 これはプロセスの正常性と合わせて、fluentd側が問題無いのにtailしているログの 問題で正常に動いていないケースもNagiosで検知する為です。 で、fluentdを稼働させるサーバはWebサーバなので、元々Nagiosが監視用のGETリクエストを 送出しているので、それをログで戻して貰って判定しようというのが大雑把な流れ。 こんな感じ。 ホスト側fluentdは程よいレベルでNagiosへ監視用ログを飛ばす Nagios側fluentdで監視用ログを受信する 設定した時間毎にプラグインを実行する 最新のログをチェックしていって、該当文字列が閾値時間以内に出現したらOK 閾値超え
fluentd のソースを読む (1) - @kyanny's blog
fluentd のソースを読み始めました。単なる趣味です。 経緯: fluentd の exec buffered output plugin を試してみたらflush_interval を短くしても USR1 シグナルを送ってもバッファが flush されず command が実行されなくて悩んでいたらTimeSlicedOutput はスライスの時間が経過しないとバッファから出てこないと教えてもらい、ソースを読んでちゃんと理解したいと思ったため、です。 とはいえ plugin/out_exec.rb をいきなり読んでもさっぱりわからなかったので、順を追って読んでみることにします。 まずは bin/fluentd を実行すると fluend が起動するところまで。 bin/fluend は fluend/command/fluentd.rb を実行してるだけ fluent/command
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
社長が訊く『すれちがい通信中継所』｜ニンテンドー3DS｜任天堂
GitHub - Furyu/fluent-plugin-hbase: This library has been moved to yuuna/fluent-plugin-hbase in October 2014
GitHub - oza/fluent-plugin-zmq: 0MQ plugin for fluent Event Collector
GitHub - fluent/fluent-logger-ruby: A structured logger for Fluentd (Ruby)
Sadayuki Furuhashi on Twitter: "Fluentd で Cool.io → Celluloid に移行するタスクに積まれたところ。Celluloid は単なるI/Oライブラリではないわけで、msgpack-rpc for ruby でも Celluloid を駆使していきたい。"