S3のオブジェクトにバッチで一括処理 re:Invent 2018期間中に発表されたAmazon S3の新機能「S3バッチオペレーション」。何十億におよぶオブジェクトに対して一括でAPIを実行できる機能です。 S3が数十億におよぶ大量オブジェクトへのバッチ処理機能を発表!(プレビュー) #reinvent 現在はまだプレビュー提供中のため、申請が通った方のみ特別に試すことができます。しかしながらドキュメント自体はパブリックに公開されていますので、使い方や仕様を追うことはどなたでも可能です。 ということで使い方をまとめてみました。 基本的な手順 次の手順でバッチ一括処理を行います。 実行対象のオブジェクトを用意する(S3インベントリレポートまたは直接作成したCSV) CreateJob APIを利用してバッチ一括処理のジョブを作成する バッチ一括処理完了後に出力されるジョブレポートを確認する
![Amazon S3の新機能「バッチ一括処理」の使い方 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a4ba234e91df2706953e10f91057025f194e4d0c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_amazon-s3_1200x630.jpeg)