![Apache Kafka Streams + Machine Learning (Spark, TensorFlow, H2O.ai) - Java Code Geeks](https://cdn-ak-scissors.b.st-hatena.com/image/square/bf9e49a2e6c1dbc118b4cf1cecee3ed41709063c/height=288;version=1;width=512/https%3A%2F%2Fwww.javacodegeeks.com%2Fwp-content%2Fuploads%2F2012%2F10%2Fenterprise-java-logo.jpg)
Apache Kafkaを用いたリアルタイムデータ処理の商用サービスを提供しているConfluentは、Apache Kafkaに対応したオープンソースのSQLエンジン「KSQL」のデベロッパープレビューをリリースしました。 Apache Kafkaはスケーラビリティに優れ、大量のデータをリアルタイムに処理できるソフトウェアです。さまざまなアプリケーションから送られてくるログや大量のセンサーなどから生成されるデータなど、リアルタイムに送信されてくるストリームデータをいったんKafkaで受け止め、それをまとめてHadoopなどの分析エンジンに渡してデータの分析を行う、といった形で使われます。 KSQLは、このKafkaに対応したSQLエンジン。これによりJavaやPythonで複雑な処理を記述しなくとも、ストリームデータを柔軟に加工できるようになります。 SQLとKSQLの違いとは? 一般的
最近、Apache Kafkaで遊んでいますが、こう使っているとEmbedded(組み込み)で動かしてみたくなるもの。テストとかで 使ったりとか。 なんかできそうだという感じだったので、チャレンジしてみました。 こちらに書いてありましたので。 Unit testing / How do I write unit tests using Kafka? …と思ったのですが、最終的にこちらの内容はあまり使わなくなりました…。 目標 Apache Kafka(とApache Kafkaが必要とするApache ZooKeeperも)を、Unit Testコード内でEmbedddedに動かします。 テストコード内で、Brokerをクラスタ化するところまでを目標にします。 準備 Maven依存関係は、こちら。 <dependency> <groupId>org.apache.kafka</groupI
Apache Kafkaには、Consumer Groupという概念があります。 Introduction / Consumers Consumerにラベル付けをすることで、Consumerをグルーピングします。こうすることで、Brokerから配信されるレコードが、そのConsumer Group内の ひとつのConsumerに配信されるようになります。 上記のドキュメントのように、2つのConsumer Groupがあった場合は、2つのConsumer Group内のどれかひとつずつのConsumerインスタンスが レコードを受け取ります。 仮に全Consumerが同じConsumer Groupに属して入れば単純に負荷分散、全Consumerが異なるConsumer Groupであれば ブロードキャストのような扱いになります。 参考) Java Clientで入門する Apache K
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く