AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理 - Qiita

社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサーバーレスや自動化に注力し、ETL（Extract, Transform, Load）ワークフローは AWS Glue、Athena、dbt で構築しました。 安全かつスマートにインフラを管理 インフラ