aws-cli の list_objects_v2() 関数 の 取得上限 1000 オブジェクトの罠 - Qiita

S3 バケットから、数テラのデータをダウンロードしていて、ハマりました。 AWS の 関数、list_objects_v2() は、1000件までしかオブジェクトを取得できないという問題があるようでした。 https://docs.aws.amazon.com/AmazonS3/latest/API/API_ListObjectsV2.html これを回避するには、1000件ごとに、Continuationtoken を渡してやる必要があるようです。 結果的には、普通に以下のコマンドでダウンロードできました。内部的に、Continuationtoken を渡しているようです。 import boto3 import os s3_client = boto3.client('s3') def download_dir(): """ params: - prefix: pattern to m