|目次 1. はじめに 2. 要約 3. Dataform とは 4. 背景 5. 前提 6. 機能面の細かい話 6.1 git リポジトリ連携とアクセストークン 6.2 複数環境と production ブランチ 6.3 config.type = "incremental" な SQLX クエリの考え方と backfill 6.4 BigQuery のパーティションがプルーニングされないケースと解決策 6.5 スケジューラの実行が不安定 7. さいごに:実際に運用してみて |はじめに こちらは CAM advent calendar 2021の15日目の記事です。 こんにちは。CAM の DataManagement チームに所属してます DN といいます。 弊社で展開しているサービス fensi (platform) と連携して運用しているデータ基盤に対して、半年ほど前から Data
![Dataform を導入してみた話 | 株式会社CAM](https://cdn-ak-scissors.b.st-hatena.com/image/square/8140f818915aae303094b7c44785c9a4080cd916/height=288;version=1;width=512/https%3A%2F%2Fimg.neirong.plus%2Fo%2Fbb%2F5f%2Fbb5fec007ecb11ed987beb26b2bea229.jpg)