AWS CLI S3コマンドの並列処理設定 - Qiita

概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ

[hogataro]

“これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます)”