S3ファイルの大量コピーは、AthenaのINSERT INTOでやると高速（１案として） - Qiita

s3で、大量のファイル（10万とか）をコピーしたい時、どうされていますか？ ＊ディレクトリ名をちょっと変えたいとかで、大量のディレクトリとファイルがある場合 boto3でプログラム組んで、コピーしようとしたら、ゾッとする遅さでした。 管理コンソール上で数秒で終わるコピーが、何分もかかるとは、思わなかった・・・ 今回の方法は、やや制約（gzipになる、HIVE形式でディレクトリ出力される）は発生しますが、同じ溝にはまった人はご参考までに。 s3で大量コピー：boto3(python)の場合 boto3 pythonで実行したところ、100ファイルごとに30秒前後かかっていて、震えました。。。 目の前の25万ファイルを目にして。 30秒×25万ファイル＝2083時間 = 87日 もかかる・・・ Athenaでやってみた どうしようか、、、と考えて、思いついた方法 「AthenaのINSERT