Glue+AthenaでMySQLとDynamoDBのデータをJOIN+分析する - Qiita

目標 サーバーレス技術やマイクロサービスが台頭している昨今、DBをサービスごとに分けるケースが多くなってきています。 本記事では、RDBとDynamoDBの両方を活用しているあなたが、分析レポートを作成するケースを想定します。 AWSを使ってETLし、両DBのデータをAthenaによりクエリするサンプルを作成していきます。 構成図 データはRDSとDynamoDBに存在することが前提となります。 Glueの機能のみでS3へparquet化したデータをETLします。 AthenaでRDSのデータとDynamoDBのデータをクエリでJOINします。 Glueの作成 それではAWSリソースをTerraformで作成するサンプルをみてみましょう。 ジョブの作成 共通 Glue用のIAMロールを作成します。 Glue、S3、DynamoDBのアクセス権限を与えておきます。 resource "aws