I am using Apache Kafka for messaging. I have implemented the producer and consumer in Java. How can we get the number of messages in a particular topic?
Get full access to Kafka: The Definitive Guide and 60K+ other titles, with a free 10-day trial of O'Reilly. There are also live events, courses curated by job role, and more. Chapter 4. Kafka Consumers: Reading Data from Kafka Applications that need to read data from Kafka use a KafkaConsumer to subscribe to Kafka topics and receive messages from these topics. Reading data from Kafka is a bit diff
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
This article is applicable for anyone deploying a Kafka cluster for production use. It points out certain high level points that you should be thinking about before deploying your cluster. It is divided into 3 parts: Important configurations for the Producer, Broker, Consumer and tips for Performance tuning. Important Client / Producer Configurations: The most important producer configurations: co
Apache KafkaのJavaクライアントを使ったプログラムを書く時、いつもAuto Commitでやっていたので、ちょっと他のパターンも 試してみようかと思いまして。 見てみると、ConsumerでCommit、ProducerではTransactionが使えるようです。 参考) Design / Message Delivery Semantics Kafka Simple Consumer Failure Recovery Transactions in Apache Kafka Apache Kafka Best Practices Kafkaコンシューマのリバランスはいつ行われるか - 見習いプログラミング日記 今回、ちょっとこのあたりを試していこうと思います。 準備 Maven依存関係は、こちら。 <dependency> <groupId>org.apache.kafka
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く