DataformでBigQueryのデータ変換を試してみた

Dataform とは 先日Google Cloud のブログでDataformが Google Cloud に買収されたとの記事が公開されました。 Dataform をかんたんに説明すると、ELT（Extract/Load/Transform）のうちの Transform を SQLX で記述し、テーブル定義やデータ変換のドキュメント化・依存関係の管理による DAG の自動生成・テストなどができるツールです。 現在以下の DWH をサポートしています。 BigQuery Snowflake Redshift Postgres Azure SQL data warehouse Presto (under development) GUI・CLI・REST API(beta)での機能が提供されており、基本的には無料（ただし DWH のプロジェクト側の利用料で課金）で利用できます。 Googl

[sourcehoge]

> Pub/Sub を trigger に Cloud Run 上で CLI の dataform run か、または REST API を非同期実行するのが有力かと思います。 後で詰まった時に思い出す