dbt-athenaことはじめ - Qiita
この記事はスタンバイ Advent Calendar 2022の21日目の記事です。 Modern Data Stackの一つであるDBTについて、Amazon Athenaで利用できるかを検証してみることにしました。 DBTとは ELT処理 (Extract、Load、Transform) のTransformの工程を効率化できるツール、という位置づけです。 詳細は割愛しますが、以下の記事がわかりやすくまとめられています。 dbt-athenaとは dbtのAthena用Adapterです。 大前提として、Saas版であるdbt Cloudでは非サポートであるため、CLI版であるdbt-coreを利用することになります。 開発コミュニティ githubで開発が進められています。執筆時点での最新バージョンは1.3.3です。 以前はfork元である別repositoryで開発が行われていたよ
AWS S3, Athena, Glue を活用した統合データ分析基盤 - AWS RDS, Kintone, Freee のデータを一元管理 - Qiita
社内で RDS, Kintone, Freee など様々なサービスを使っていて、それらの情報をー箇所で集約し、分析するためのデータ基盤の必要がありました。 そのために以下の手順でデータ基盤を構築してみました。 データのまとめ：AWS Glue を用いてデータを S3 に抽出しカタログ化 データ加工：dbt-athena でデータ変換 クエリ実行：Athena でクエリ データ分析：Metabase でのデータ分析とお可視化 将来的に集めるデータ量が増加見込みなので、コスト効率と拡張性の面で S3 での保存は適切かと考えました。 また、開発チュー自体少人数なので、煩雑な管理作業を避けるためにサーバーレスや自動化に注力し、ETL（Extract, Transform, Load）ワークフローは AWS Glue、Athena、dbt で構築しました。 安全かつスマートにインフラを管理 インフラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
