Athena+embulk で ETL - Qiita

目的 日毎のバッチで、S3にある ParquetファイルをQueryし、その結果をRedshift（DWH）へ入れたかった。 背景 QueryしたいParquetファイルは Data Lake 上にすべて存在していた。 必要なParquetファイルはすべて AWS Glue Datacatalog でテーブル構造が定義されていた。 Queryした結果をRedshift上にテーブル化し、他のアプリケーションで使いたかった。 Embulkは本番環境はすでにバリバリ使っていた。 ということで これだけ揃ってんなら、AthenaでQueryして、結果をEmbulkでRedshiftに入れればいいんでない。 作る AthenaでQueryして、結果のCSVファイルを確認する AWS CLI でAthenaにQueryを投げる。 Queryを投げるコマンドはQuery要求を出すだけですぐ終了するので終