dbt(Data Build Tool)を使ったデータの品質管理方法

このドキュメントは？ dbtを利用してデータの品質管理を継続的に行えるような仕組みが備わっています。それを利用し、目的別にどのようなやり方で対応できるのか調査してみました。 データ品質管理とは？ まずデータの分析や機械学習をする際に必要最低限だと思われる品質の管理項目に関して次のように定義してあったので拝借しました。 - 正確性、妥当性、有効性 - 意図に合う内容・形式のデータか - 完全性 - 欠損のないデータか - 一貫性、整合性 - データ間の関係に矛盾がないか - 最新性 - 求めている期間（の最新）のデータか こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性 - ログミーTech dbtを利用したデータのテスト方法の基本 dbtにはSchemaTestsとData Testsと呼ばれるデータをテストする仕組みがあります。 dbtではモデルという概念でテー