ログ収集ツールFluentdに、Apacheのmod_rewriteのようにtagを自在に書き換える機能を追加する、fluent-plugin-rewrite-tag-filterのv1.4.1をリリースしました。 https://github.com/y-ken/fluent-plugin-rewrite-tag-filter http://rubygems.org/gems/fluent-plugin-rewrite-tag-filter 前回記事はv1.3.1の紹介でしたので、それ以降にリリースしたv1.4.0とv1.4.1のリリースノートをまとめたいと思います。 お知らせ 今回は4点、嬉しいお知らせがあります。 Fluentd公式プラグイン化 fluent-plugin-rewrite-tag-filterですが，ユーザも多くユースケースがたくさんあるので，公式リポジトリ以下でメン

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは

Fluentdを用いたサーバ・サービスの死活監視・通知の自動化を行う、夢のプロダクト構想があります。 しばらくは設計の検討を進め、6月頃から開発、2013年の秋頃に安定版のリリースを目指したい。 これを実現すべく、「こうあるべきだ論」「こんな事が実現できたら素敵」等々、ご意見を募集しております。 photo by energeticspell 2013年10月追記： 時間の工面が出来ておらず、開発準備中のままとなっております。申し訳ありません。 概要 fluent-plugin-guardianは、以下のような連携を行うプラグインです。 閾値の設定や通知方法に関しては永続型のインメモリDB「Redis」に保存します。 この設定の編集には、別途用意するコマンドラインツールを利用します。 1. fluentd : 各種ログを収集する基盤として利用 アプリログ アクセスログ エラーログ muni

ログ収集ツールFluentdに、Apacheのmod_rewriteのようにtagを自在に書き換える機能を追加する、fluent-plugin-rewrite-tag-filterのv1.3.1をリリースしました。 https://github.com/y-ken/fluent-plugin-rewrite-tag-filter http://rubygems.org/gems/fluent-plugin-rewrite-tag-filter 今回は不具合修正のみです。 変更内容概要 修正履歴より紹介します。 [不具合] 後方参照・タグプレースホルダが正常に動作しない現象を改善 [不具合] remove_tag_prefixの末尾にドットを含めた時の誤動作を改善 特に前者の不具合は影響が大きいため、詳細な説明を行います。 「後方参照・タグプレースホルダが正常に動作しない現象」の詳細 後方参

イベントログ収集ツールFluentdに、mrubyからも構造化ログデータを送りたい。 その情熱に勢いを任せて、"mruby-fluent-logger" を作りましたので公開します。 これを使えば、C/C++アプリに組み込んだmruby等からFluentdを容易に扱えますね。 そんな"mruby-fluent-logger"はこれらの用途に最適です。 アプリケーションログ・デバッグログを送る 組み込み機器のセンサー情報などを送る 夢が広がりますね！ mruby-fluent-loggerとは mrubyから呼び出せるロガークラスで、Fluentdへ構造化データを送れます。 GitHubリポジトリにてソースを公開しております。 https://github.com/y-ken/fluent-logger-mruby mrubyからの呼び出し方法 アルファリリースとも言うべき段階のため、必要最

ログ収集ツールFluentdに、Apacheのmod_rewriteのようにtagを自在に書き換える機能を追加する、fluent-plugin-rewrite-tag-filterのv1.3.0をリリースしました。 https://github.com/y-ken/fluent-plugin-rewrite-tag-filter http://rubygems.org/gems/fluent-plugin-rewrite-tag-filter 今回の目玉である新機能は、rewriteruleにおける正規表現の否定パターンへの対応です。 これは、正規表現に 該当する 場合のみタグの書き換えだけでなく、 正規表現に 該当しない 場合のタグ書き換えも出来るようになりました。 変更内容概要 修正履歴より紹介します。 [新機能] rewriteruleにて否定演算子が使えるようになりました [不具合

Twilio（トゥイリオ）という話題の電話APIサービスをご存じでしょうか。 これをFluentdに組み込むプラグイン「fluent-plugin-twilio」を作成・公開しました。 Boundioという電話APIサービスが廃止となり、行き場を失っていた方にも朗報です。 fluent-plugin-twilio https://github.com/y-ken/fluent-plugin-twilio Fluentd Output plugin to make a call with twilio. Twilioとは Web APIを利用し、電話を掛けたり、受けることの出来るサービスです。 TwiMLというXML言語を用い、大変自由度の高い動作を定義することが出来ます。 文字列として渡した漢字を含む日本語から、音声合成をして読み上げる機能も備わっています。 Twilioの料金（2013年