AWS Kinesis を使った Lambda 並行実行検証 - Qiita

Kinesisを使うと、例えばデータファイルを行毎にストリームとして流すことが可能です。 またKinesisをLambdaトリガーとして使うことで、後続処理をLambdaで作ることができます。 アップロード テストとして、以下のLambdaFunctionを作成し、10,000件のデータファイルを流してみました。 1行あたりのデータ量は、平均で2KiB程度です。 Lambda Function import boto3 import urllib.parse s3 = boto3.resource('s3', aws_access_key_id='XXXXXXXXXX', aws_secret_access_key='XXXXXXXXXXXXXXXXXXXXXXXXX', region_name='ap-northeast-1' ) kinesis = boto3.client('kine

[letitride]

KinesisをイベントリソースとしたLambdaはシャード単位で1秒間隔で非同期並列で起動するのではなく、シャード単位でシリアライズでコンテナが起動するっぽい