Amazon DynamoDB で AWS Lambda を使用する - AWS Lambda
Lambda 関数以外のターゲットにデータを送信したい、または送信する前にデータをエンリッチしたいという場合は、「Amazon EventBridge Pipes」を参照してください。 AWS Lambda 関数を使用して、Amazon DynamoDB ストリームのレコードを処理します。DynamoDB Streams では、Lambda 関数を使用して、DynamoDB テーブルが更新されるたびに追加の作業を実行することができます。 Lambda はストリームからレコードを読み取り、関数を、ストリームレコードを含むイベントと共に同期的に呼び出します。Lambda はバッチ単位でレコードを読み取り、関数を呼び出してバッチからレコードを処理します。 { "Records": [ { "eventID": "1", "eventVersion": "1.0", "dynamodb": { "
Amazon Kinesis Data Streams の用語と概念 - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Kinesis Data Streams の用語と概念 Kinesis Data Streams のアーキテクチャの概要 以下の図に、Kinesis Data Streams のアーキテクチャの概要を示します。プロデューサーは継続的にデータを Kinesis Data Streams にプッシュし、コンシューマーはリアルタイムでデータを処理します。コンシューマー (Amazon EC2 で実行されているカスタムアプリケーションや Amazon Data Firehose 配信ストリームなど) は、Amazon DynamoDB、Amazon Redshift、Amazon S3 などの AWS サービスを使用して結果を保存できます。 Kinesis D
ゼロ ETL 統合 – Amazon Aurora と Amazon Redshift - AWS
Amazon Redshift との Amazon Aurora ゼロ ETL 統合 ペタバイトレベルのトランザクションデータでリアルタイム分析を実現 Amazon Redshift との Amazon Aurora ゼロ ETL 統合により、ペタバイト規模のトランザクションデータに対する、Amazon Redshift を利用したほぼリアルタイムの分析と機械学習 (ML) が可能となります。トランザクションデータが Amazon Aurora に書き込まれて数秒以内に、ゼロ ETL は Amazon Redshift でシームレスにデータを利用できるようにし、抽出、変換、ロード (ETL) オペレーションを実行する複雑なデータパイプラインを構築して維持する必要性をなくします。
KPL の主要な概念 - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 KPL の主要な概念 以下のセクションでは、Kinesis Producer Library (KPL) を理解し、その利点を引き出すために必要な概念と用語について説明します。 レコード このガイドでは、KPL ユーザーレコードと Kinesis Data Streams レコードを区別します。修飾語を付けずにレコードという用語を使用する場合は、KPL ユーザーレコードを意味します。Kinesis Data Streams レコードを意味するときは、明示的に Kinesis Data Streams レコードと表現します。 KPL ユーザーレコードは、ユーザーにとって特定の意味のあるデータの BLOB です。たとえば、ウェブサイトの UI イベントまたはウェブサーバ
Amazon CloudWatch を使用した Kinesis Client Library のモニタリング - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon CloudWatch を使用した Kinesis Client Library のモニタリング Amazon Kinesis Data Streams の Kinesis Producer Library (KPL) は、お客様に代わってカスタム Amazon CloudWatch メトリクスを発行します。CloudWatch console に移動し、[カスタムメトリクス] を選択すると、これらのメトリクスを表示できます。カスタムメトリクスに関する詳細については、Amazon CloudWatch ユーザーガイドのカスタムメトリクスを発行するを参照してください。 KPL によって CloudWatch にアップロードされたメトリクスには、小額の課金が
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
Amazon Kinesis Producer Library を使用したプロデューサーの開発 - Amazon Kinesis Data Streams
最新の KPL バージョンにアップグレードすることをお勧めします。KPL は、最新の依存関係やセキュリティパッチ、バグ修正、下位互換性のある新機能を含む新しいリリースで定期的に更新されます。詳細については、https://github.com/awslabs/amazon-kinesis-producer /releases/ を参照してください。 KPL の役割 KPL easy-to-use は高度な設定可能ライブラリで、Kinesis Data Streams への書き込みに役立つ、高度な設定可能ライブラリです。これは、プロデューサーアプリケーションのコードと Kinesis Data Streams API アクション間の仲介として機能します。KPL は次の主要なタスクを実行します。 自動的で設定可能な再試行メカニズムにより 1 つ以上の Kinesis Data Streams
Kinesis Client Library の使用 - Amazon Kinesis Data Streams
KCL 1.x と KCL 2.x については、どちらも使用シナリオに応じて最新の KCL 1.x バージョンまたは KCL 2.x バージョンにアップグレードすることをお勧めします。KCL 1.x と KCL 2.x は、どちらも新しいリリースに伴って定期的に更新されています。これには、最新の依存関係パッチ、セキュリティパッチ、バグ修正、および下位互換性のある新機能が含まれます。詳細については、「https://github.com/awslabs/amazon-kinesis-client/releases」を参照してください。 Kinesis Client Library (KCL) とは何ですか? KCL は、分散コンピューティングに関連する複雑なタスクの多くを処理することで、Kinesis Data Streams からデータを消費および処理するのに役立ちます。これには、複数のコ
Amazon Data Firehose データ変換 - Amazon Data Firehose
Amazon Data Firehose は、以前は Amazon Kinesis Data Firehose として知られていました 翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Data Firehose データ変換 Amazon Data Firehose は Lambda 関数を呼び出して、受信ソースデータを変換し、変換されたデータを宛先に配信できます。Firehose ストリームを作成するときに、Amazon Data Firehose データ変換を有効にできます。 データ変換フロー Firehose データ変換を有効にすると、Firehose は受信データをバッファします。バッファリングサイズのヒントの範囲は 0.2 MB～3MB。デフォルトの Lambda バッファリングサイズのヒン
DynamoDB Streams と AWS Lambda のトリガー - Amazon DynamoDB
3 つ以上の Lambda 関数をサブスクライブできますが、1 つの DynamoDB ストリームに 3 つ以上の Lambda 関数を使用すると、読み取りのスロットリングが発生する可能性があります。 AWS Lambda サービスは、1 秒に 4 回、ストリームをポーリングして新しいレコードを探します。新しいストリームレコードが利用可能になると、Lambda 関数が同期的に呼び出されます。同じ DynamoDB ストリームに最大 2 つの Lambda 関数をサブスクライブできます。 Lambda 関数は、通知の送信やワークフローの開始など、指定した他の多くのアクションを実行できます。各ストリームレコードを Amazon S3 File Gateway (Amazon S3) などの永続的ストレージにコピーするだけで、書き込みアクティビティの永続的な監査追跡をテーブルに作成する Lamb
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Managed Streaming Data Service - Amazon Kinesis Data Streams Features - Amazon Web Services
Stream Processing – Amazon Managed Service for Apache Flink Features – AWS
https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AmazonKinesisDataStreams_0430_v1.pdf