S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意 | DevelopersIOデータアナリティクス事業本部のueharaです。 今回は、S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意しましょうという話をしたいと思います。 はじめに Boto3を利用してS3間でファイルコピーをするというのはよくあるケースだと思います。 中でも、大きめの容量のファイルをコピーする際は以下のブログでも紹介されているように S3.Client.copy() メソッドを利用するかと思います。 ただ、この関数をデフォルトのまま使用するとファイルコピーの速度といったパフォーマンス面で課題が生じるケースがあります。 ファイルコピーを行う際の設定値について S3.Client.copy()メソッドは Config という引数を持っており、こちらは boto3.s3.transfer.TransferConfigを受け取ります。 ここで、デフ
