[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。 re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。 セッションについて スピーカー Damian Wylie - Principal Product Manager 概要 Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazo
![[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 | Amazon Web Services
Amazon Web Services ブログ Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 増え続けるデータを処理し、新しいデータソースを取り込むことは、多くの組織にとって大きな課題となっています。 多くの場合、AWS のお客様は接続中のさまざまなデバイスやセンサーからメッセージを受け取っていますが、それらを詳しく分析する前に、効率的に取り込み、処理する必要があります。 結果として、あらゆる種類のデータが行き着くソリューションが Amazon S3 となるのは当然と言えるでしょう。 ただし、データが Amazon S3 に格納される方法によって、ダウンストリームデータ処理の効率とコストに大きな違いが生じる可能性があります。 具体的に言うと、Apache Spar
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka のインフラストラクチャと運用を管理するストリーミングデータサービスであり、デベロッパーや DevOps 管理者が Apache Kafka の運用のエキスパートとならなくても、AWS で Apache Kafka アプリケーションおよび Apache Kafka Connect コネクタをより簡単に実行できるようにします。Amazon MSK は Apache Kafka クラスターを運用、維持、スケールし、すぐに使用できるエンタープライズプラスのセキュリティ機能を提供
Kafka Streams - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
Apache Kafka - Wikipedia
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
Event Hubs - リアルタイムのデータ インジェスト | Microsoft Azure
Event Hubs は、シンプルで信頼性と拡張性の高いフル マネージド型のリアルタイム データ インジェスト サービスです。任意のソースから毎秒数百万のイベントをストリーミングすることで、動的なデータ パイプラインを構築し、ビジネスの課題に迅速に対応できます。緊急時には、 geo ディザスター リカバリー および geo レプリケーション機能を使用してデータ処理を続けます。 他の Azure サービスとシームレスに統合することで、有益な分析情報を利用可能にすることができます。コードを変更することなく、既存の Apache Kafka クライアントおよびアプリケーションが Event Hubs と通信できるように設定できます。これにより、自分のクラスターを管理する必要なく、マネージド Kafka エクスペリエンスを実現できます。リアルタイムのデータ インジェストとマイクロバッチ処理を同じス
Phoenix at Scale
Phoenix framework (Elixir) with Redis, at Scale. tokyo.ex#9 #tokyoex
ストリーミングデータパイプライン – Amazon Data Firehose (Firehose) – AWS
Amazon Managed Streaming for Kafka (MSK) のトピック、Kinesis Data Streams のストリームなどのデータストリームのソースを選択するか、または Firehose Direct PUT API を使用してデータを書き込みます。Amazon Data Firehose は 20 以上の AWS サービスに統合するため、Databases (プレビュー)、Amazon CloudWatch Logs、AWS WAF ウェブ ACL ログ、AWS Network Firewall ログ、Amazon SNS、AWS IoT などのソースからストリームを設定できます。
MQTT - Wikipedia
MQTT（旧称：MQ Telemetry Transport、Message Queuing Telemetry Transport）は、メッセージ指向ミドルウェアのアプリケーション層で使用される、TCP/IPによるPub/Sub型データ配信モデルの軽量なデータ配信プロトコルである。 MQTTのMQは、歴史的にはMQSeriesから来ているが、メッセージキューの機能は持たない[4]。 非力なデバイスやネットワークが不安定な場所でも動作しやすいように、メッセージ通信電文が軽量に設計されていることが特徴である。 Pub/Sub型メッセージング·パターンには、サーバとしてメッセージブローカー（英語版）が必要である。 サーバは、メッセージのトピックに基づいて、それを必要としているクライアントにメッセージを配布する。 仕様はロイヤリティフリーで公開されていて、現在の仕様は5となっている[5]。 19
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Azure Stream Analytics | Microsoft Azure
GitHub - apache/kafka: Mirror of Apache Kafka