Apache Kafka 0.11 の Exactly Once Semantics
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
Apache Kafkaでクラスタを構成してみる - CLOVER🍀
Apache KafkaをしばらくSingle Nodeで扱ってきましたが、そろそろクラスタを構成してみたいと思います。 クラスタの構成の仕方は、Apache Kafkaのドキュメント、Quick Startを見ると書いてあったりします。 Quick Start / Step 6: Setting up a multi-broker cluster また、このあたりも参考に。 CentOS 7でKafkaクラスタを構築する | 俺的備忘録 〜なんかいろいろ〜 複数台マシンを用いたKafkaクラスタの構築方法 - 夢とガラクタの集積場 Apache Kafkaのクラスタ構成を試してみる 各Brokerのidを設定し、Apache ZooKeeperの接続先を合わせてあげればいいみたいです。 というわけで、クラスタを組んでみましょう。今回は、こんな構成でいきます。 Apache ZooKeep
kafkaでpublishのロジックを独自に作ってデータロスを無くす話
class: center, middle # publishのロジックを独自に作ってデータロスを無くす話 [2017/07/06 Kafka Meetup #3](https://kafka-apache-jp.connpass.com/event/58619)  --- class: middle <img src="xuwei.gif" alt="icon" width="100" height="100" /> - twitter [@xuwei_k](https://twitter.com/xuwei_k) - github [@xuwei-k](https://github.com/xuwei-k) - blog <http://xuwei-k.
Prestoを使ってKafkaにクエリを投げる
Prestoを使えばKafkaに入っているメッセージにSQLでクエリが投げれるみたいなのでやってみました。 KafkaからHBaseやらNoSQLに入れ直すのはめんどうなのでPrestoを使ってみた感じです。 ちなみにPrestoは複数のデータソースに対して分散SQLクエリを発行するエンジンです。Kafkaは接続出来るデータソースの1つにすぎません。 環境CentOS7に全部まとめてインストールして動作を確認します。 CentOS 7Java 1.8Presto 0.180Kafka 0.11.0.0kafkaインストールまず、kafkaのインストールから。 root$ yum update -y root$ yum install java Kafkaのサポートバージョンはpresto 0.180のドキュメントを見るとKafkaは0.8.xでテストしていると書かれています。 Presto
Tutorial for Debezium 0.3の日本語訳
Original: http://debezium.io/docs/tutorial/ This article is licensed under CC BY 3.0. 注：適当に意訳しています。 Debezium 0.3のチュートリアル このチュートリアルは、Debezium 0.3.5でChange Data Capture(CDC)する手順を示したものです。Docker(1.9以降)を使ってDebeziumサービスを起動し、MySQLデータベースサーバーで単純なサンプルデータベースを稼働させ、Debeziumでデータベースを監視し、データベースのデータの変更に伴って生成されたイベントストリームを見てみます。 Debeziumとは？ Debeziumとは、既存のデータベースをイベントストリームに変える、オープンソースの分散プラットフォームです。これにより、アプリケーションは、瞬間的
Apache Kafka（とApache ZooKeeper）をEmbeddedに使う - CLOVER🍀
最近、Apache Kafkaで遊んでいますが、こう使っているとEmbedded（組み込み）で動かしてみたくなるもの。テストとかで 使ったりとか。 なんかできそうだという感じだったので、チャレンジしてみました。 こちらに書いてありましたので。 Unit testing / How do I write unit tests using Kafka? …と思ったのですが、最終的にこちらの内容はあまり使わなくなりました…。 目標 Apache Kafka（とApache Kafkaが必要とするApache ZooKeeperも）を、Unit Testコード内でEmbedddedに動かします。 テストコード内で、Brokerをクラスタ化するところまでを目標にします。 準備 Maven依存関係は、こちら。 <dependency> <groupId>org.apache.kafka</groupI
Apache KafkaのConsumer Groupを試す - CLOVER🍀
Apache Kafkaには、Consumer Groupという概念があります。 Introduction / Consumers Consumerにラベル付けをすることで、Consumerをグルーピングします。こうすることで、Brokerから配信されるレコードが、そのConsumer Group内の ひとつのConsumerに配信されるようになります。 上記のドキュメントのように、2つのConsumer Groupがあった場合は、2つのConsumer Group内のどれかひとつずつのConsumerインスタンスが レコードを受け取ります。 仮に全Consumerが同じConsumer Groupに属して入れば単純に負荷分散、全Consumerが異なるConsumer Groupであれば ブロードキャストのような扱いになります。 参考） Java Clientで入門する Apache K
ストリーミングデータのアドホック分析エンジンの比較
This document discusses several streaming data technologies including Kinesis Analytics, PipelineDB, MemSQL, and VoltDB. For each technology, it provides examples of using SQL queries to process streaming data from Kinesis and Kafka in real-time. It also discusses features like continuous views, windows, and joins.Read less
Kafka StreamsをSpring Bootで試してみた - Mitsuyuki.Shiiba
この辺とか読みながら→ Introduction — Confluent Platform 3.1.0 documentation Twitter4Jで適当に英語のツイートをとってきて、Kafkaに流し込む。(キーとかの設定はtwitter4j.propertiesに入れておいた) @Component public class TwitterToKafka implements CommandLineRunner { @Autowired private KafkaTemplate<String, String> template; @Override public void run(String... args) throws Exception { TwitterStream twitterStream = new TwitterStreamFactory().getInstance
Managing Spark and Kafka Pipelines - Silicon Valley Data Science
With Monitoring and Alerting | May 11th, 2017 Do you fully understand how your systems operate? As an engineer, there is a lot you can do to aid the person who is going to manage your application in the future. In a previous post we covered how exposing the tuning knobs of the underlying technologies to operations will go a long way to making your application successful. Your application is a un
Queryable State for Kafka Streamsを使ってみた
The document discusses queryable state for Apache Kafka Streams. It introduces Kafka Streams and stateful transformations. It then describes state for Kafka Streams, including how state is stored in RocksDB and tracked with a changelog in Kafka. Finally, it covers the new queryable state feature in Kafka Streams 0.10.1, which provides APIs to access state stores and retrieve values by key for wind
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
1. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 2017年5月20日 1 ヤフー株式会社 データ＆サイエンスソリューション統括本部 データプラットフォーム本部 開発4部 パイプライン 森谷 大輔 Java Clientで入門する Apache Kafka JJUG CCC 2017 Spring 2. Copyrig ht © 2017 Yahoo Japan Corporation. All Rig hts Reserved. 自己紹介 • 森谷 大輔 • インフラエンジニア • どちらかというとBEアプリケーション開発 • ヤフーのデータパイプラインをつくったり運用したり • 対外発表 • ストリーム処理プラットフォームにおけるKafka導入事例 (Apache Kafka Meetup Japan
kafka-docker で作った kafka クラスタに Elixir クライアントから接続する - 駄文型
kafka-docker でローカルに kafka クラスタを構築する - 駄文型 の続き。kafkaex/kafka_ex という Kafka クライアントで Producer を作ってみます。 ライブラリの取得 mix.exs を編集して mix deps.get するだけ。 参考: Introduction to Mix - Elixir defmodule ProducerSampleEx.Mixfile do # ... def application do [ applications: [ :kafka_ex, :snappy ] ] end defp deps do [ {:kafka_ex, "~> 0.6.5"}, {:snappy, git: "https://github.com/fdmanana/snappy-erlang-nif"} ] end end $ mi
kafka-docker でローカルに kafka クラスタを構築する - 駄文型
参考 wurstmeister/kafka-docker: Dockerfile for Apache Kafka Kafka Docker Kafka in Dockerで分散メッセージングシステムを構築する - Qiita 環境 OS X El Captain 10.11.6 docker 17.03.1-ce docker-compose 1.11.2 手順 1. Download kafka-docker $ git clone git@github.com:wurstmeister/kafka-docker.git 2. Update docker-compose.yml docker-compose.yml を編集して zookeeper の Port と KAFKA_ADVERTISED_HOST_NAME を変更します。 version: '2' services: zoo
kafka-managerをインストールする - CLOVER🍀
Apache Kafkaを管理するためのツールとしてkafka-managerというものが便利らしいので、kafka-managerを インストールして簡単に確認してみます。 GitHub - yahoo/kafka-manager: A tool for managing Apache Kafka. 今回使用するkafka-managerのバージョンは、1.3.3.6とします。 kafka-managerとは？ 文字通り、Apache Kafkaを管理するためのツールですが、次のようなことができるそうです。 複数のクラスタの管理 topic、consumer、offsets、broker、replica distribution、partition distributionを簡単に確認 パーティションの作成と割り当て Topicの作成（設定含む） Topicの削除 Topicの一覧表示
Apache Kafka について | ギャップロ
Kafka と ZooKeeper ZooKeeper の詳細 ZooKeeper は、分散アプリケーションのためのオープンソースの分散コーディネーションサービスです。ZooKeeper は Java で動作し、Java と C のためのバインディングが用意されています。 クラスタ (マルチサーバー) セットアップ ZooKeeper は奇数単位でアンサンブルと呼ぶクラスタを組みます。アンサンブルの過半数が動作している必要があるので、奇数台のマシンを使うのがベストです。たとえば 4 台のマシンを使う場合、ZooKeeper が対応できるのはマシン 1 台の障害までです。2 台のマシンに障害が発生すると、残りの 2 台では過半数にならないためです。5 台のマシンを使えば、ZooKeeper はマシン 2 台までの障害に対応できます。 その中の 1 台がリーダー選挙を通して全ての書き込みを調停
Mac OS X で Apache Kafka を触ってみる - CUBE SUGAR CONTAINER
Apache Kafka は OSS の分散型メッセージングミドルウェア。 似た性質を持ったソフトウェアとしては ActiveMQ や RabbitMQ などが挙げられる。 ただし、ActiveMQ や RabbitMQ との大きな違いは、独自のバイナリプロトコルを用いてメッセージをやり取りするところ。 ActiveMQ や RabbitMQ は標準化された AMQP や MQTT を扱う場合が多い。 独自プロトコルというと、なんだか未来が無さそうなイメージがあるけど、その逆で Kafka はビッグデータ処理の場面ではほぼデファクトの位置にあるようだ。 今回は、そんな Kafka を手元の Mac でさくっと試してみることにする。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.4 BuildVersion
Ubuntu Linuxに、Apache Kafkaをインストールする - CLOVER🍀
今後の勉強にあたり、Apache Kafkaを使ってみようかなと思いまして。 まずは、Apache Kafkaをインストールしてみたいと思います。 Apache Kafka また、参考にしたサイトはこちら。 Apache Kafka, 他とは異なるメッセージングシステム シシド・カフカさんが気になって調べていたら Apache Kafka 入門していたメモ - ようへいの日々精進XP Apache Kafkaに入門した | SOTA Apache Kafka ―入門からTrifectaを用いた可視化まで― Apache Kafkaの説明自体は、このあたりを参照と…。 インストール 環境はUbuntu Linux、JavaはOracle JDK 8がインストール済みの状態を前提とし、基本的にはQuickstartに沿って 進めていきます。 Quickstart まずは、Apache Kafk
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
decode17
ishiis.net
