昨年12月に Dataform の Google Cloud 加入が発表 されて以来, 関心を持って調べています. Dataform は BigQuery などのデータウェアハウス上で SQL を中心としたデータ変換パイプラインを構築するための仕組みです. 先日は Dataform で Google Analytics 4 の BigQuery Export データ を変換するパイプラインを作ってみたりもしました(GitHub: terashim/dataform-google-analytics-4-example). Dataform は非常に強力なツールで, 簡単な SELECT 文を書けば CREATE TABLE 文や MERGE 文などデータ更新用のクエリを自動生成してくれます. しかし詳しく調べていくにつれて, より本格的なパイプラインを構築するにはやはり BigQuery
![BigQuery 上でデータ変換パイプラインを構築するための SQL の書き方 | terashim.com](https://cdn-ak-scissors.b.st-hatena.com/image/square/7aed4497cf4b7be2205727403c6eb0ee82aee4c5/height=288;version=1;width=512/https%3A%2F%2Fterashim.com%2Fimages%2Fthumbnails%2Fposts%2Fbigquery-for-pipeline.png)