Introducing the Confluent Operator: Apache Kafka® on Kubernetes
Introducing the Confluent Operator: Apache Kafka on Kubernetes Made Simple At Confluent, our mission is to put a Streaming Platform at the heart of every digital company in the world. This means, making it easy to deploy and use Apache Kafka and Confluent Platform—the de-facto Streaming Platform—across a variety of infrastructure environments. In the last few years, the rise of Kubernetes as the c
Apache Kafkaで、クラスタメンバーの増減とPartitionの再割り当てをやってみる - CLOVER🍀
Apache Kafkaでクラスタのメンバーの増減や、Partitionの再割り当てみたいなことをやってみたいなぁと思い、ちょっと 試してみることにしました。 環境 Apache Kafkaのバージョンは、0.11.0.1とします。 また、Apache ZooKeeper、Apache Kafka（Broker）のIPアドレスは、次のようなものとします。 Apache ZooKepper … 172.21.0.2 Apache Kafka … 172.21.0.3〜 Apache KafkaのBrokerのIDは、IPアドレスの末尾とします（172.21.0.3なら、3）。 これで、Apache KafkaのNodeを増減させたりして、どのようになるかちょっと見てみたいと思います。 メッセージ投入用のプログラム Apache Kafka（Broker）へのメッセージの投入には、Javaで書
Apache Kafka: The Definitive Guide | Confluent
What is Kafka, and how does it work? In this comprehensive e-book, you'll get full introduction to Apache Kafka® , the distributed, publish-subscribe queue for handling real-time data feeds. Learn how Kafka works, internal architecture, what it's used for, and how to take full advantage of Kafka stream processing technology. Authors Neha Narkhede, Gwen Shapira, and Todd Palino show you how to dep
The Log: What every software engineer should know about real-time data's unifying abstraction | LinkedIn Engineering
The Log: What every software engineer should know about real-time data's unifying abstraction I joined LinkedIn about six years ago at a particularly interesting time. We were just beginning to run up against the limits of our monolithic, centralized database and needed to start the transition to a portfolio of specialized distributed systems. This has been an interesting experience: we built, dep
Apache Kafkaのbroker設定一覧
kafka docのbrokerconfigsにある設定をまとめてみた。 なお、対象バージョンは0.10.0です。また、正確に理解出来ていない箇所があるので正確な情報が欲しい場合はkafka公式かkafkaのソースコードを見てください。 設定の重要度がhigh, medium, lowの3つに分けてあるのでhighを手厚く調べる。設定項目が全部で130個くらいあるので重要度毎に表を分割してます。 あと、数個DEPRECATEDの設定があったが、他に対応する項目が用意されているので項目から除外している。 重要度highの設定重要らしいのでサラッと見て必要な設定はしたほうがいいと思われる設定。ついでに、どんな機能があるのかが設定項目からイメージできるはず。 NoNameDescriptionDefault設定例
Flafka: Apache Flume Meets Apache Kafka for Event Processing - Cloudera Blog
The new integration between Flume and Kafka offers sub-second-latency event processing without the need for dedicated infrastructure. In this previous post you learned some Apache Kafka basics and explored a scenario for using Kafka in an online application. This post takes you a step further and highlights the integration of Kafka with Apache Hadoop, demonstrating both a basic ingestion capabilit
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Kafka+Spark Streaming+Elasticserachによるシステム構築と検証の進め方
はじめに 前回はSpark Streamingの概要と検証シナリオ、および構築するシステムの概要を解説しました。今回はシステムの詳細構成と検証の進め方、および初期設定における性能測定結果について解説します。 この検証ではメッセージキューのKafka、ストリームデータ処理のSpark Streaming、検索エンジンのElasticsearchを組み合わせたリアルタイムのセンサデータ処理システムを構築しています。今回はKafkaとElasticsearchの詳細なアーキテクチャやKafkaとSparkの接続時の注意点も解説します。 システムの詳細構成 マシン構成とマシンスペック 評価に向けたマシンの初期構成を図1に示します。本システムは以下のノードから構成されます。 センサデータを収集してKafkaに送信する収集・配信ノード Kafkaクラスタを構成してメッセージの受け渡しを行うキューとして
ScalaでKafkaにメッセージを送る - Qiita
表題のアプリを実装しないといけなくなったのですが、どんぴしゃな情報が無くて１日苦労しました。 急にKafkaを使わないといけなくなったが、Kafkaのことをよく知らない 急にScalaを使わないといけなくなったが、Scalaのことをよく知らない という人の参考になるかもしれないので、ここにまとめておきます。 Kafkaのインストール とりあえず現時点で最新の0.8.2.1を入れます。諸事情により、使うScalaのバージョンは2.10系です。 # cp kafka_2.10-0.8.2.1.tgz /usr/local/ # tar zxf kafka_2.10-0.8.2.1.tgz # ln -s /usr/local/kafka_2.10-0.8.2.1 /usr/local/kafka # useradd kafka # passwd kafka # chown -R kafka:k
fluent-plugin-kafka: fluentd と Kafka の連携 — kafka-docs 0.0.1 ドキュメント
fluent-plugin-kafka: fluentd と Kafka の連携¶ （最終更新：2016 年 1 月 1 日） fluentd 自体の詳しい説明は他に譲るとして、本文書では fluentd と Kafka を組み合わせる方法を紹介する。本文書を読むと、fluentd で syslog を読み取り、Kafka に流す設定がわかる。Kafka の起動手順は Apache Kafka Quick Start を参照のこと。 本文書で作成するシステムは下図のようになる。 fluentd で syslog を読み取る¶ fluentd と Kafka を組み合わせる練習として fluentd で syslog を読み取ってみよう。syslog は適度にいろいろなログが出力されるので見ていて楽しい。はじめはデバッグのために、読み取ったログデータを標準出力に垂れ流すことにする。 まずは
Kafka Inside Keystone Pipeline
In summary, the Keystone pipeline is a unified event publishing, collection, and routing infrastructure for both batch and stream processing. We have two sets of Kafka clusters in Keystone pipeline: Fronting Kafka and Consumer Kafka. Fronting Kafka clusters are responsible for getting the messages from the producers which are virtually every application instance in Netflix. Their roles are data co
Apache Kafka 0.9 is Released | Confluent
I am pleased to announce the availability of the 0.9 release of Apache Kafka. This release has been in the works for several months with contributions from the community and has many new features that Kafka users have long been waiting for. Around 87 contributors provided bug fixes, improvements, and new features such that in total 523 JIRA issues could be resolved. Here is a quick overview of the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pavel Makhov
Worldwide Scalable and Resilient Messaging Services with Kafka and Kafka Streams - Confluent
ChatWorkの新メッセージングシステムを支える技術 - Speaker Deck
storm/external/storm-kafka at master · apache/storm · GitHub
Using Apache Kafka with Apache Flume | 4.1.x | Cloudera Documentation
Introducing Kafka Streams: Large-scale Stream Processing with Kafka - Confluent
Kafka at Scale in Cloud - Confluent
Fundamentals of Stream Processing with Apache Beam - Confluent