Kafka Consumer for Fluentd - Qiita

treasure-data/kafka-fluentd-consumer Kafkaからデータを取り出してFluentdに転送するJava実装のKafka Consumerを書きました．基本的なことはREADMEに書いてるんですが，一応日本語でも書いておきます． 背景 1トピック1パーティションであれば，すでに公開されているfluent-plugin-kafkaが使えます．ですが，複数トピックだったりをConsumer Groupを使って処理しようとすると，現状fluent-plugin-kafkaが依存しているPoseidonに機能がたりないという問題があります(output側は問題ありません)． 海外だとデータ量が多い会社も多く，それに伴いKafkaを使っている会社が少しずつ増えてます．その影響もあり，FluentdとKafkaを連携させたいという要望がちょくちょく出てきたので，Jav

[Dai_Kamijo]

“Kafka Consumer for Fluentd - Qiita” — まつちゃら (@matsu_chara) September 19, 2015 from Twitter https://twitter.com/Dai_Kamijo September 19, 2015 at 03:57PM via IFTTT