[B! fluentd] hakobe932のブックマーク

FluentdとRiakの話 - After Coding

Fluentdは、Ruby製のログコレクタだ。コードは公開されている。様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。インストールもプラグイン開発も簡単。日本語の資料も多い。その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。永続化にはデータベースが必要だ。そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。これがまたエッジ立ちまくってて

hakobe932 2013/08/18

リンク

fluent-plugin-sampling-filter and fluent-plugin-datacounter released! #fluentd - たごもりすメモ

Fluentd において特定パターンのデータをもっているメッセージ数をカウントする、およびメッセージ数に対してパターンごとの割合を算出する fluent-plugin-datacounter をリリースしました。また fluent-plugin-datacounter のようにメッセージの傾向を算出するためのプラグインに入れるデータを作るため、全メッセージからサンプリングを行う fluent-plugin-sampling-filter もリリースしました。 fluent-plugin-datacounter | RubyGems.org | your community gem host fluent-plugin-sampling-filter | RubyGems.org | your community gem host fluent-plugin-sampling-filter

hakobe932 2012/07/11

リンク

fluent-plugin-flowcounter および fluent-plugin-growthforecast released! #fluentd - たごもりすメモ

Fluentd自体の動作状況を数値化するための fluent-plugin-flowcounter およびメトリクスを手間なくグラフに描かせて可視化するための fluent-plugin-growthforecast をリリースした。 fluent-plugin-flowcounter rubygems.org github fluent-plugin-growthforecast rubygems.orgy github このふたつを組合せると、こないだの Fluentd meetup で自分が出したこんなグラフやこんなグラフが誰でもじつに簡単に描けるようになり、自分のFluentd使用状況が明確に把握できるようになるというわけですね。超おススメです。なおGrowthForecastについては kazeburo さんのこのエントリを読むのがよいと思います。じつに良いツールです。 Gro

hakobe932 2012/07/11

リンク

http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html

hakobe932 2012/05/19

fluentd

リンク

List of Plugins By Category | Fluentd

Amazon Web Services / Big Data / Filter / Google Cloud Platform / Internet of Things / Monitoring / Notifications / NoSQL / Online Processing / RDBMS / Search / AMAZON WEB SERVICES Certified Download Name Author About Version BIG DATA Certified Download Name Author About Version FILTER Certified Download Name Author About Version GOOGLE CLOUD PLATFORM Certified Download Name Author About Version I

hakobe932 2012/04/14

リンク

Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記はてな支店

皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す