ストリームデータ処理技術勉強会 発表資料 https://futureofdata.connpass.com/event/60300/
Kafka Summit NYCに見るストリーミングデータETLの話 #streamdatajp
ストリームデータ処理技術勉強会 発表資料 https://futureofdata.connpass.com/event/60300/
KubernetesでKafkaクラスターを動かしてみた
Kafka Meet Up Japan #4 (#kafkajp)の発表資料です。
Best Practices for Running Apache Kafka on AWS | Amazon Web Services
AWS Big Data Blog Best Practices for Running Apache Kafka on AWS NOTE: This blog post was written before the launch of Amazon MSK, a fully managed, highly available, and secure service for Apache Kafka. We recommend using Amazon MSK instead of running your own Apache Kafka cluster in EC2. If you need to run Apache Kafka on EC2 then you will find this blog is still useful. ——————————————- This post
デブサミ2018 Apache Kafkaの話
Developers Summit2018でのスライド資料です "Apache Kafkaによるスケーラブル アプリケーション開発"
Apache KafkaをKafka Topics UIで見てみる - CLOVER🍀
ちょっと前なのですが、JJUG CCC 2017 Fallの時に@bufferingsさんの発表を見ていて、内容以外で気になっていたことがありまして。 Spring BootとKafkaでCQRS それは、「あのKafkaを操作しているUIなに？？」 すごく便利そうだったので、内容以外にもずーっとそっちも見ていました（笑）。で、なにを使っているかは気付いたものの、 それからあまり時間が取れていなかったので、今頃ですが試そうかなと思います。 ちなみに、自分はTopic内のデータを見たい場合はTrifecta、そうでない場合はKafka Managerを使っていました。 GitHub - ldaniels528/trifecta: Trifecta is a web-based and CLI tool that simplifies inspecting Kafka messages and
Apache Kafkaを使ったアプリ設計で反省している件を正直ベースで話す
Apache Kafka: Producer, Broker and Consumer2017年は生まれて始めてApache Kafkaを本格的に業務利用（PoCではなく本番運用）した年でした。Apache Kafka的なメッセージングミドルウェアそのもののは、社内的な事情でよく使っていたのでその使い勝手に対して困惑はほとんど無かったですし、ミドルウェアとして非常に安定しているため、Kafkaクラスタそのものでの不具合らしい不具合が発生したことは一度もありませんでした。 しかし、Kafkaのトピック設計などに関してのベストプラクティスは事例ベースでもあまり見かけたことがなく、チームメンバーと悩むことも多かったです。このストーリーでは、主にKafkaを利用したアプリ設計で考えたことや失敗したことを振り返りつつ共有します。なお、パーティション数や各種バッファサイズなどのチューニング要素は今回取
A Guide To The Kafka Protocol - Apache Kafka - Apache Software Foundation
NOTICE An initial version of this page has been added to the official documentation here. It still needs a lot of work. However, because it is generated from the code may be more up to date in some cases. Contributions to improve this documentation is welcome and encouraged. Some tasks are tracked here: KAFKA-3360 - Getting issue details... STATUS IntroductionThis document covers the protocol impl
Apache KafkaのConsumer Groupを試す - CLOVER🍀
Apache Kafkaには、Consumer Groupという概念があります。 Introduction / Consumers Consumerにラベル付けをすることで、Consumerをグルーピングします。こうすることで、Brokerから配信されるレコードが、そのConsumer Group内の ひとつのConsumerに配信されるようになります。 上記のドキュメントのように、2つのConsumer Groupがあった場合は、2つのConsumer Group内のどれかひとつずつのConsumerインスタンスが レコードを受け取ります。 仮に全Consumerが同じConsumer Groupに属して入れば単純に負荷分散、全Consumerが異なるConsumer Groupであれば ブロードキャストのような扱いになります。 参考） Java Clientで入門する Apache K
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KubernetesでのKafkaクラスタの管理と運用
GitHub - fluent/kafka-connect-fluentd: Kafka Connect for Fluentd
https://docs.confluent.io/current/connect/devguide.html
Confluent Documentation | Confluent Documentation
https://docs.confluent.io/current/connect/index.html
ETL Is Dead, Long Live Streams
Storm Kafka Integration
Reddit - Dive into anything
Kafka data structures in Zookeeper - Apache Kafka - Apache Software Foundation
https://www.ospn.jp/osc2017.enterprise/pdf/OSC2017.enterprise_Hitachi_Kafka.pdf
ストリーム処理プラットフォームにおけるKafka導入事例 #kafkajp
Logs