Transactions in Apache Kafka | Confluent
In a previous blog post, we introduced exactly-once semantics for Apache Kafka®. That post covered the various message delivery semantics, introduced the idempotent producer, transactions, and the exactly-once processing semantics for Kafka Streams. We will now pick up from where we left off and dive deeper into transactions in Apache Kafka. The goal of the document is to familiarize the reader wi
Exactly-once Semantics is Possible: Here's How Apache Kafka Does it
I’m thrilled that we have hit an exciting milestone the Apache Kafka® community has long been waiting for: we have introduced exactly-once semantics in Kafka in the 0.11 release and Confluent Platform 3.3. In this post, I’d like to tell you what Kafka’s exactly-once semantics mean, why it is a hard problem, and how the new idempotence and transactions features in Kafka enable correct exactly-once
Apache Kafkaで、実行中にBrokerを追加した時のProducer／Consumerの挙動を確認する - CLOVER🍀
Apache Kafkaで、ProducerやConsumerを実行中にBrokerを追加した時にどうなるか、その挙動を見てみようと思います。 環境とお題 利用する、Apache Kafkaのバージョンは1.1.0とします。 Apache ZooKeeperをひとつ、Apache KafkaのBrokerを以下のような体系で用意します。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerは最初は2つで、あとで3つに増やします。この時のバリエーションとして、 Brokerを追加してパーティションを追加 Brokerを追加して、パーティション配置を再割り当て という感じでやってみようかと。 その他、環境的なところはこんな感じです。 $ java -version openjdk version
Kafka Listeners - Explained
Kafka Listeners - Explained Published Aug 2, 2018 by in Apache Kafka, Docker, Advertised.listeners, Listeners, Aws, Ec2, KAFKA_ADVERTISED_LISTENERS at https://rmoff.net/2018/08/02/kafka-listeners-explained/ (This was cross-posted on the Confluent.io blog) This question comes up on StackOverflow and such places a lot, so here’s something to try and help. tl;dr : You need to set advertised.listeners
Apache Kafkaでクラスタを構成してみる - CLOVER🍀
Apache KafkaをしばらくSingle Nodeで扱ってきましたが、そろそろクラスタを構成してみたいと思います。 クラスタの構成の仕方は、Apache Kafkaのドキュメント、Quick Startを見ると書いてあったりします。 Quick Start / Step 6: Setting up a multi-broker cluster また、このあたりも参考に。 CentOS 7でKafkaクラスタを構築する | 俺的備忘録 〜なんかいろいろ〜 複数台マシンを用いたKafkaクラスタの構築方法 - 夢とガラクタの集積場 Apache Kafkaのクラスタ構成を試してみる 各Brokerのidを設定し、Apache ZooKeeperの接続先を合わせてあげればいいみたいです。 というわけで、クラスタを組んでみましょう。今回は、こんな構成でいきます。 Apache ZooKeep
Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～
2019年3月14日に開催されたHadoop / Spark Conference Japan 2019での講演資料です。
【Team & Project】LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームを紹介します
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームについて紹介します。Z PartチームのWonpill Seo、井出真広、Javier Luca de Tena、河村勇人に話を聞きました。 ―― まず、自己紹介をお願いします。 Wonpill：LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用を担当しているZ Partチームでマネージャーとして働いています。 井出：今所属しているZ Partでは、主にMessaging platformで利用しているRedisクラスタの運用やRe
Kafkaを利用したジョブキューライブラリ「Decaton」の活用事例
先日 LINE が開発するライブラリ Decaton が OSS として公開されました。 Decaton は Kafka を利用したジョブキューライブラリで、LINE 社内で幅広く利用されています。 GitHub - line/decaton: High throughput asynchronous task processing on Apache Kafka 今回の記事では、LINE で Decaton がどのように利用されているか、実際に利用されているプロダクトの実例を交えて紹介します。 Decaton とは? Decaton は LINE 社内で非同期処理を行う際のジョブキューとして利用されているライブラリで、データストアとして Kafka を利用しています。 Kafka には、ストリーム処理を扱う公式のライブラリとして Kafka Streams があります。しかし、Kafka
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
Apache Kafka
Apache Kafka More than 80% of all Fortune 100 companies trust, and use Kafka. Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications. Manufacturing 10 out of 10 Banks 7 out of 10 Insurance 10 out of 10 Telecom 8 out of 10 10/10 Largest insurance
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Exactly Once Processing in Kafka with Java | Baeldung
Kafka Listeners – Explained | Confluent
https://docs.confluent.io/current/quickstart/ce-docker-quickstart.html
Connect to Kafka running in Docker
GitHub - confluentinc/kafka-rest: Confluent REST Proxy for Kafka
Journey of Apache Kafka & Zookeeper Administrator ( Part 5 )
Kafka 複数台でクラスターを組んでみる / 桃缶食べたい。
Apache Kafka: デプロイメントを最適化するための10のベストプラクティス
Introduction to Kafka Connectors | Baeldung