Amazon Web Services ブログ Apache Spark を実行しているAmazon Kinesis Data Firehose と Amazon EMR によるダウンストリームデータ処理の最適化 増え続けるデータを処理し、新しいデータソースを取り込むことは、多くの組織にとって大きな課題となっています。 多くの場合、AWS のお客様は接続中のさまざまなデバイスやセンサーからメッセージを受け取っていますが、それらを詳しく分析する前に、効率的に取り込み、処理する必要があります。 結果として、あらゆる種類のデータが行き着くソリューションが Amazon S3 となるのは当然と言えるでしょう。 ただし、データが Amazon S3 に格納される方法によって、ダウンストリームデータ処理の効率とコストに大きな違いが生じる可能性があります。 具体的に言うと、Apache Spar
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams+Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用) Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis3兄弟のうちの1人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする Amazon Managed Streaming for Apache Kafka (Amazon MSK) は、Apache Kafka のインフラストラクチャと運用を管理するストリーミングデータサービスであり、デベロッパーや DevOps 管理者が Apache Kafka の運用のエキスパートとならなくても、AWS で Apache Kafka アプリケーションおよび Apache Kafka Connect コネクタをより簡単に実行できるようにします。Amazon MSK は Apache Kafka クラスターを運用、維持、スケールし、すぐに使用できるエンタープライズプラスのセキュリティ機能を提供
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけで
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
Event Hubs は、シンプルで信頼性と拡張性の高いフル マネージド型のリアルタイム データ インジェスト サービスです。任意のソースから毎秒数百万のイベントをストリーミングすることで、動的なデータ パイプラインを構築し、ビジネスの課題に迅速に対応できます。緊急時には、 geo ディザスター リカバリー および geo レプリケーション機能を使用してデータ処理を続けます。 他の Azure サービスとシームレスに統合することで、有益な分析情報を利用可能にすることができます。コードを変更することなく、既存の Apache Kafka クライアントおよびアプリケーションが Event Hubs と通信できるように設定できます。これにより、自分のクラスターを管理する必要なく、マネージド Kafka エクスペリエンスを実現できます。リアルタイムのデータ インジェストとマイクロバッチ処理を同じス
Phoenix framework (Elixir) with Redis, at Scale. tokyo.ex#9 #tokyoex
MQTT(旧称:MQ Telemetry Transport、Message Queuing Telemetry Transport)は、メッセージ指向ミドルウェアのアプリケーション層で使用される、TCP/IPによるPub/Sub型データ配信モデルの軽量なデータ配信プロトコルである。 MQTTのMQは、歴史的にはMQSeriesから来ているが、メッセージキューの機能は持たない[4]。 非力なデバイスやネットワークが不安定な場所でも動作しやすいように、メッセージ通信電文が軽量に設計されていることが特徴である。 Pub/Sub型メッセージング·パターンには、サーバとしてメッセージブローカー(英語版)が必要である。 サーバは、メッセージのトピックに基づいて、それを必要としているクライアントにメッセージを配布する。 仕様はロイヤリティフリーで公開されていて、現在の仕様は5となっている[5]。 19
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く