DuckDBとTaskfileで作るBQ×スプレッドシートの使い捨てEDA環境 - エムスリーテックブログ

こんにちは。AI・機械学習チームの高田です。 他部署からスプレッドシートでデータを受け取って、社内のDWHにあるデータと突き合わせながら探索的に分析したい。こういう場面で毎回環境構築するのは手間なので、さっと始められるEDA環境がほしいと思っていました。DuckDB + Taskfileの組み合わせがちょうどよかったので紹介したいと思います。 DuckDBが解決すること BQ + GSSを1つのSQLで横断する なぜBQ側からGSSを直接読まないのか ローカルキャッシュで高速化 & BQ課金ゼロ 出力の柔軟性 Taskfileで組む軽量ワークフロー なぜTaskfileか サンプルプロジェクトを作ってみた BQからデータを取得してParquetに保存する GSSの作品リストとBQの単語データをJOINして集計する Taskfile.ymlの構成 キャッシュ戦略をTaskfileで実装する

[misshiki]

DuckDB と Taskfile で、BigQuery と Google Sheets を横断する使い捨て EDA 環境を構築する話。BigQuery は Parquet にローカルキャッシュして課金と待ち時間を削減し、Taskfile の sources/generates で再取得を自動制御する。

[roshi]

Google SheetsのJOINできるの知らなかった。DBというよりデータソースのglueツールみたい。

[nguyen-oi]

DuckDBを便利に使いこなしてるな。使い捨て環境にTaskfileは丁度良さそう