RedshiftのCOPYコマンド実行中の特殊ケースにおける挙動 - Qiita

概要 S3上にあるParquetファイルをRedshift内部テーブルへインポートするためCOPYコマンドを実行。データ量が多く、COPYコマンド完了までに数時間かかった。その間、別のバッチが動き、COPYコマンド実行中のS3パスに対してのデータ出力とCOPYコマンド実行が走ってしまった。その際の挙動について記載します。 (2021/07/15時点の内容です。) ケース S3上にあるParquetファイルをRedshift内部テーブルへインポートするためCOPYコマンドを実行。（データ量が多く、完了に数時間かかる） 上記実行中に別のデータ処理バッチが動き以下のヤバそうな処理が実行される。（上記実行開始してから数分後です） (1)上記COPYコマンドのFROM句に指定しているS3パス配下にParquetファイルを出力（Unloadコマンドによる） (2)さらに(1)で出力されたファイルをRe