AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
IAM Kinesis にイベントをストリーミングするための ロール - Amazon Pinpoint
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 IAM Kinesis にイベントをストリーミングするための ロール Amazon Pinpoint は、アプリケーションから AWS アカウント内の Amazon Kinesis データストリームまたは Amazon Data Firehose 配信ストリームに、アプリケーション使用状況データまたはイベントデータを自動的に送信できます。Amazon Pinpoint でイベントデータのストリーミングを開始するには、事前に Amazon Pinpoint に必要なアクセス権限を割り当てなければなりません。 コンソールを使用してイベントストリーミングを設定すると、Amazon Pinpoint は必要なアクセス許可を持つ AWS Identity and Access
Apache Flink と Amazon Kinesis Data Analytics for Java アプリケーションを使用して、ストリーミングアプリケーションを構築、実行する | Amazon Web Services
Amazon Web Services ブログ Apache Flink と Amazon Kinesis Data Analytics for Java アプリケーションを使用して、ストリーミングアプリケーションを構築、実行する ストリーム処理によってリアルタイムデータの収集、処理、分析が容易となるため、洞察が継続して生まれ、新たに生じる状況にも素早く対応できるようになります。この機能は得られた洞察の価値が、時間の経過とともに減少する場合に役立ちます。つまり検出した状況に迅速に対応できればできるほど、この反応がより価値のあるものとなります。たとえば不正なクレジットカードのトランザクションが発生し、それを分析してブロックするようなストリーミングアプリケーションを考えてみましょう。そのアプリケーションを従来のバッチ指向のもの、つまりその日の営業を終了する際に不正な取引を識別して、翌朝にはレポ
KinesisDataStreamsのデータ処理用Lambda作成｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.05.26 ｜ Writer：ちばちゃん KinesisDataStreamsのデータ処理用Lambda作成 AWS Lambdaの一般的な利用方法の中から１つを取り上げ、環境構築からLambda関数の作成および動作確認までの一連の作業手順を詳細に解説しています。 今回はAmazon Kinesis Data Streamsのストリーミングデータを処理するLambdaの作成手順をAmazon Kinesis Data Streamsの構築手順と併せて解説します。 Amazon Kinesis Data StreamsはAmazon Kinesisの機能の一つで、センサーやコンピュータ等から次々に送られてくる大量のデータを独自アプリケーションやS3、DynamoDBなどAWSの他のサービスへ高速に転送するためのサービスです。シャードと呼ばれる単位で並列処理することで大量のストリーミ
AWS上でApache Flinkを使用してリアルタイムストリーム処理パイプラインを構築する | Amazon Web Services
Amazon Web Services ブログ AWS上でApache Flinkを使用してリアルタイムストリーム処理パイプラインを構築する 今日のビジネス環境では、多様なデータソースが着実に増加していく中で、データが継続的に生成されています。したがって、このデータを継続的にキャプチャ、格納、および処理して、大量の生データストリームを実用的な洞察に素早く繋げることは、組織にとって大きな競争上のメリットになっています。 Apache Flinkは、このようなストリーム処理パイプラインの基礎を形成するのに適したオープンソースプロジェクトです。ストリーミングデータの継続的な分析に合わせたユニークな機能を提供しています。しかし、Flinkを基にしたパイプラインの構築と維持には、物理的なリソースと運用上の努力に加え、かなりの専門知識が必要になることがよくあります。 この記事では、Amazon E
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://d1.awsstatic.com/events/jp/2018/summit/tokyo/customer/03.pdf
Workshop Studio
https://d1.awsstatic.com/Solutions/ja_JP/connected-vehicle-solution.pdf
準天頂衛星とAWSで日本の交通課題を解決する/Solve traffic problems in Japan with Qzss and AWS
Amazon Kinesis Analytics によるストリーミングデータのリアルタイム分析
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/analytics-api.pdf