Kafka Consumer 0.9 の挙動
Apache Kafka 0.9.0より新しいConsumer実装が追加されました。Broker側の実装自体はv0.8.2で既に追加されていましたが、公式実装としてorg.apache.kafka.clients.consumer.KafkaConsumerが同梱されるようになりました。 新しいAPIを用いたConsumerはOffsetの管理とConsumerGroupに紐づくConsumerの管理をBroker側で行ってくれるようになります。詳細に関してはKafkaのwikiに詳しくまとめられています。が、更新されていない資料が多く実際のフローと異なっている所が多いので、実装ベースで現在のConsumerのフローについて確認していきます。 起動時の処理 1. Brokerのクラスタの、いずれか1つのサーバーへ接続を試みる。 起動時に渡されたBrokerの接続先の中から、ランダムに1つの
Consumer Group Example - Apache Kafka - Apache Software Foundation
Using the High Level ConsumerWhy use the High Level ConsumerSometimes the logic to read messages from Kafka doesn't care about handling the message offsets, it just wants the data. So the High Level Consumer is provided to abstract most of the details of consuming events from Kafka. First thing to know is that the High Level Consumer stores the last offset read from a specific partition in ZooKeep
KafkaクラスタでConsumerを接続した際の動作 - 夢とガラクタの集積場
こんにちは。 Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。 重要になるのはgroup、topic、後は必須がZooKeeperURLとなっています。 # cd /opt/kafka # bin/kafka-console-consumer.sh [2014-03-18 07:22:07,118] ERROR Missing required argument "[zookeeper]" (kafka.utils.CommandLineUtils$) Option Description ------ ----------- --autocommit.interval.m
Kafka のトピック・パーティションの決め方を考察する - uchan note
Apache Kafka は分散キューまたは pub/sub メッセージ配信システムとして使われるミドルウェアである。Kafka は pub/sub システムで一般的にある「トピック」に加えて、各トピックを分散処理のために分割する「パーティション」という機能を持っている。この記事では、どちらもメッセージを分類するという機能をもつ「トピック」と「パーティション」の使い分けを考察してみる。 トピック トピックとは日本語で「話題」という意味がある。pub/sub システムでは、関連するメッセージを集める単位として使われる言葉らしい。筆者は pub/sub システムの一般的な概念をそんなによく知らないのではっきりしたことを言えないが、「アクセスログトピック」とか「システムログトピック」とか「気温と湿度のログトピック」というように、メッセージの種類ごとに分けるのがトピックだと考えている。 メッセージ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
