本番同様のデータを扱えるdbtテスト環境をSnowflakeで構築する方法 - LayerX エンジニアブログ

こんにちは！バクラク事業部 機械学習・データ部 データチームの@TrsNiumです。 弊社ではBigQueryとSnowflake上にデータ基盤を構築しています。データチームは、このデータ基盤上に集積したデータを集計し、データコンポーネント化して、分析や機械学習の用途に利用しやすい形で提供しています。この過程で、データの集計やデータコンポーネントの作成には、dbt（data build tool）を活用しています。 データの集計やデータコンポーネントの編集・作成は慎重に行う必要があります。集計方法の誤りは、業務ダッシュボードの数値ズレや機械学習モデルの推論精度低下につながる可能性があるためです。このリスクを回避するため、データに対するテストの実施が不可欠です。 しかし、弊社のデータ基盤における開発環境やステージング環境のデータ量は少なく、存在するデータもSaaS間で整合性が取れていません。