Kafka Consumer for Fluentd - Qiita
treasure-data/kafka-fluentd-consumer Kafkaからデータを取り出してFluentdに転送するJava実装のKafka Consumerを書きました．基本的なことはREADMEに書いてるんですが，一応日本語でも書いておきます． 背景 1トピック1パーティションであれば，すでに公開されているfluent-plugin-kafkaが使えます．ですが，複数トピックだったりをConsumer Groupを使って処理しようとすると，現状fluent-plugin-kafkaが依存しているPoseidonに機能がたりないという問題があります(output側は問題ありません)． 海外だとデータ量が多い会社も多く，それに伴いKafkaを使っている会社が少しずつ増えてます．その影響もあり，FluentdとKafkaを連携させたいという要望がちょくちょく出てきたので，Jav
Fluentdの2015年の展望 - Qiita
Fluentd Advent Calendar 2014最後の記事は，Fluentdやその周辺の今後について書きます． v1を来年出す予定です．v1そのものは大きく後方互換性を損なう予定はないです．今月出したv0.12，そして来年の冬/春に出す予定のv0.14で導入される新しいAPI群が固まったら，v1がリリースされます． v0.12ではFilter/Labelが入りイベントルーティングが改善されましたが，v0.14では他のコア部分を改善します．今のところ大きめなものとして以下の機能追加・変更を予定しています: 各プラグインの改善 Actor(名前変わるかも？)の導入・スレッドハンドリング周りの改善 Bufferプラグインでより細かな制御が出来るように イベント時間のミリ秒 or ナノ秒のサポート ServerEngineでスーパーバイザー/エンジン部分を置き換え これらはv0.14で入れ
Fluentd update 2014 - Qiita
毎年恒例1年のまとめ記事です．2014年はFluentdの飛躍の年でもあったので，エコシステム周りも含め色々と紹介したいと思います． 2014年は0.10.43から始まり，v0.10の最新版は0.10.57，v0.12が開発版としてpre2までリリースされています．v0.12に関しては13日，v1を含めた来年の開発に関しては25日に書く予定です． Fluentd本体 すべてを列挙するのは難しいので，すべてを見たい方はChangeLogを参照してください．ここでは特に運用やプラグイン周りで有用なものをピックアップします． プラグイン毎のlog_levelオプション (0.10.43) グローバルなレベルとは別に，各プラグイン毎にログレベルを設定出来る機能です．詳細は以前書いたFluentdのロギングを参照してください． sigdump (0.10.43) sigdumpが同梱されるようになり
Treasure Agent(td-agent)の1と2の今後 - Qiita
Treasure Dataが提供しているFluentdの配布パッケージであるtd-agentの今後について書く．この記事は http://docs.fluentd.org/articles/td-agent-v1-vs-v2 http://docs.treasure-data.com/articles/td-agent2 とかMLでのアナウンスを日本語でまとめたような感じの記事です． 現在は1と2の二つのバージョンが並行してリリースされているので，まずそれぞれの違いについて書きます． td-agent 1 今までのメインバージョンであり，現在はold stable．同梱ライブラリの大きなバージョンアップはありません．最新版の1.1.21では以下のものが同梱されています Ruby 1.9.3 jemallocやmsgpackなど，コアライブラリ群 Fluentdとよく使われるプラグイン群 サ
fluent-plugin-tdの説明 - Qiita
英語では少し情報はあるんですが，日本語だとTreasure DataのFluentdプラグインのまとまった情報がない気がしたので，とりあえず書いておく．いずれは公式ブログとかドキュメントの日本語化がされた時に整理されて公開される予定です． Treasure Dataに関しては，公式サイトや公式ブログに色々と記事が公開されているので，参照してみてください． http://www.treasuredata.com/jp/ http://treasure-data.hateblo.jp/ Treasure Dataプラグインについて その名の通りTreasure Dataにログを転送するFluentdプラグインです．Treasure DataのデータストアはスキーマレスなのでひたすらJSONなログを突っ込むことが出来，Fluentdと相性が良いです．実際はSchema on Readのアプローチ
Fluentdのロギング - Qiita
Fluentdの公式ドキュメントにloggingのページがあるんですが，まだ英語しかなく，運用の話を聞いてるとここに書いてあることで解決出来るケースがいくつかあったので，とりあえず日本語で記事にしておきます． プラグイン毎のログレベル 昔のFluentdはグローバルに一つしかログレベルを設定出来なかったんですが，今ならプラグイン毎に設定出来ます．プラグインが対応している必要がありますが，まぁ今時のプラグインや広くつかわれているやつはほとんど対応していると思います． in_tailプラグインはログにマッチしない行があったらwarnでメッセージを出しますが，そういうbrokenな行があることが分かっていてログを出さずに無視して欲しい，というような場合に有効です． その他にも，あるプラグインだけデバッグモードで走らせたい，みたいなことが出来るようになります． ログのスタックトレースの抑制 Flu
Fluentd update 2013 - Qiita
Fluentd / td-agentのリリースマネージャをしているrepeatedlyです．Fluentd Advent Calendarの8日目の記事になります． 色々とネタはあるのですが，なんかまとめっぽい記事の方が話題になると聞いたので，それっぽいネタで行くことにしました．2日目に「Fluentd 2013年開発・状況まとめ / 2014年に向けて」という開発体制的な話が出たので，この記事ではこの1年でFluentdに入った機能をいくつか紹介することにします． MLには毎度投げているのですが，全部の変更を追うのは難しいとは思うので，バージョンアップの目安にしてもらえればと思います． 各機能の後の()は利用可能になったバージョンです． Fluentd本体 --dry-runオプション (0.10.36) 他のサーバなどにあるconfigtestをするためのオプションです．--dry-r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluent-plugin-stdinで手軽にローカルのファイルを転送する - Qiita
あんまり知られてない機能について - Qiita