Python Kafka Client Benchmarking - Activision Game Science
NOTE: the code in shown notebook is hidden for better readability. To toggle on/off, click here. Python Kafka Client Benchmarking¶ Kafka is an incredibly powerful service that can help you process huge streams of data. It is written in Scala and has been undergoing lots of changes. Historically, the JVM clients have been better supported then those in the Python ecosystem. However, this doesn't ne
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 - ログミーTech
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンについて、エンジニアたちの技術的知見や挑戦を通して紹介します。セッション「Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages
KafkaクラスタでConsumerを接続した際の動作 - 夢とガラクタの集積場
こんにちは。 Producerからメッセージを投入時の動作を確認した前回に引き続き、動作を確認していきます。 今回はConsumerがKafkaクラスタに接続した時の動作について、です。 1-1.Consumerのコマンド確認 前回と同じく、Consumerのコマンドを確認します。 重要になるのはgroup、topic、後は必須がZooKeeperURLとなっています。 # cd /opt/kafka # bin/kafka-console-consumer.sh [2014-03-18 07:22:07,118] ERROR Missing required argument "[zookeeper]" (kafka.utils.CommandLineUtils$) Option Description ------ ----------- --autocommit.interval.m
Best Practices for Running Apache Kafka on AWS | Amazon Web Services
AWS Big Data Blog Best Practices for Running Apache Kafka on AWS NOTE: This blog post was written before the launch of Amazon MSK, a fully managed, highly available, and secure service for Apache Kafka. We recommend using Amazon MSK instead of running your own Apache Kafka cluster in EC2. If you need to run Apache Kafka on EC2 then you will find this blog is still useful. ——————————————- This post
デブサミ2018 [Apache Kafkaによるスケーラブルアプリケーション開発] で登壇してきました #devsumi - istyle Tech Blog
デブサミ2018 [Apache Kafkaによるスケーラブルアプリケーション開発] で登壇してきました #devsumi ytakeです 2月15日、16日と開催されたDevelopers Summit 2018 「デブサミ」にて、 「Apache Kafkaによるスケーラブルアプリケーション開発」という講演で、 弊社で導入しているApache Kafkaについて話しました。 Apache Kafkaについての発表は、去年のbuilderscon2017でも一部取り上げていたテーマで、 去年のPHPカンファレンス2017の内容からPHPでの利用ポイントを省き、 Kafka Streamを追加してお話させていただきました。 弊社ではログなどの分析基盤のほか、 アプリケーションのメッセージブローカーとしても実際に利用しており、 今後もいろんなアプリケーションで活用されていくでしょう！、という
チュートリアル: Apache Kafka Producer および Consumer API の使用 - Azure HDInsight | Microsoft Docs
HDInsight 上の Kafka で Apache Kafka Producer および Consumer API を使用する方法を説明します。 Kafka Producer API では、アプリケーションが Kafka クラスターにデータ ストリームを送信できます。 Kafka Consumer API では、アプリケーションがクラスターからデータ ストリームを読み取ることができます。 このチュートリアルでは、以下の内容を学習します。 API の詳細については、Producer API と Consumer API に関する Apache のドキュメントをご覧ください。 前提条件 HDInsight クラスター上の Apache Kafka。 クラスターを作成する方法については、HDInsight での Apache Kafka の開始に関する記事をご覧ください。 Java Deve
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
開発者のための Apache Kafka サービス | Heroku
Apache Kafka on Heroku 開発者向けに最適化されたストリーミングデータサービス。 Streaming data service optimized for developers. しくみをご覧ください Kafka とは Apache Kafka は分散型コミットログの一種で、「トピック」という概念を使ってプロデューサーとコンシューマーの間に高速かつフォールトトレランスに優れた通信を実現するものです。Kafka の提供するメッセージングは、膨大な数のイベントやトランザクションを処理できる新世代の分散型アプリケーションの開発に役立ちます。 イベントをコントロール ユーザーのアクティビティストリーム、ログイベント、組み込みデバイスや携帯電話からのテレメトリなど、イベントはあらゆるところにあります。Kafka はプッシュ型に代わってプル型のスクリプトを採用しているため、ユーザー
Kafka
本書では、リアルタイムのストリーム処理基盤であるKafkaを本番環境で動かし、その上に堅牢で高性能なシステムを構築するために必要な手順を解説します。 Kafkaのインストールや設定方法、Kafka APIを使った開発から、データパイプラインの構築、Kafkaの管理やモニタリングまで、Kafkaを導入する際の一連の流れを豊富なサンプルコードを使って解説します。またイベント駆動マイクロサービスのためのメッセージバスやストリーム処理アプリケーション、大規模データパイプラインなどのユースケースを詳述。Kafkaのレプリケーションやストレージレイヤなど、アーキテクチャと内部構造について解説しているため、Kafkaの仕組みを理解することができます。 Kafkaの開発者たちが執筆した本書は、ストリーム処理について学びたいエンジニア必携の一冊です。 目 次 監訳者まえがき 序文 はじめに 本書の対象読者
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction to Schemas in Apache Kafka with the Confluent Schema Registry
GitHub - confluentinc/confluent-kafka-python: Confluent's Kafka Python Client