Dataform を導入してみた話 | 株式会社CAM｜目次 1. はじめに 2. 要約 3. Dataform とは 4. 背景 5. 前提 6. 機能面の細かい話 6.1 git リポジトリ連携とアクセストークン 6.2 複数環境と production ブランチ 6.3 config.type = "incremental" な SQLX クエリの考え方と backfill 6.4 BigQuery のパーティションがプルーニングされないケースと解決策 6.5 スケジューラの実行が不安定 7. さいごに：実際に運用してみて ｜はじめに こちらは CAM advent calendar 2021の15日目の記事です。 こんにちは。CAM の DataManagement チームに所属してます DN といいます。 弊社で展開しているサービス fensi (platform) と連携して運用しているデータ基盤に対して、半年ほど前から Data
