RedshiftのデータをAWS GlueでParquetに変換してRedshift Spectrumで利用する際のTips集 - Qiita

RedshiftのデータをAWS GlueでParquetに変換してRedshift Spectrumで利用するときにハマったことや確認したことを記録しています。 前提 Parquet化してSpectrumを利用するユースケースとして以下を想定しています。 テーブルにある、全データをParquet化した後にテーブルを削除（または、全データを洗い替えする） -> Redshift Spectrumからのみ利用するようにする。 テーブル内の一部データ（特定の日付以前のデータのみ）をParquet化して、テーブルからParquet済みのデータを削除する。 -> 利用頻度の高いデータはRedshiftに残しておき、利用頻度の低い過去データはRedshift Spectrumに移す。 新規に取り込むデータで極端にデータ量が多いことが想定されていて、Redshiftに貯めるとノード追加の頻度が非常に増