AWSのS3のGlueとAthenaで色々やった話 - Qiita

クラウドの進化はエンジニアにとってはとてもありがたいです。今までは全部自分達で構築していたものをクラウドで機能を組み合わせる事でシステムを実現できる。 特にAWSさんのお陰でシステム連携がとても便利になりました。 今回は、AWSのS3のGlueとAthenaで色々やった話です。 要件 POSデータを外部から当システムに取り込みデータを反映させたい 即時性はいらない データは新規のみ 定期実行でよい 既存システムには影響を書けたくない（外で構築） データ量は大きい 実現方法 色々と方法はあると思いますが、やったのは、こちら ポイント RDS(Aurora)は、snapshotでS3へParquet形式で保管 S3からの自動処理は、lambdaで処理 CSVからParquet変換で高速で小データサイズ化 CrawlerでAthenaのテーブル化でSQL実行可能 時間がかかるバッチ処理は、EC2