サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Wikipedia
zenn.dev/takimo
このドキュメントは? dbtを利用してデータの品質管理を継続的に行えるような仕組みが備わっています。それを利用し、目的別にどのようなやり方で対応できるのか調査してみました。 データ品質管理とは? まずデータの分析や機械学習をする際に必要最低限だと思われる品質の管理項目に関して次のように定義してあったので拝借しました。 - 正確性、妥当性、有効性 - 意図に合う内容・形式のデータか - 完全性 - 欠損のないデータか - 一貫性、整合性 - データ間の関係に矛盾がないか - 最新性 - 求めている期間(の最新)のデータか こんなデータじゃ機械学習できねぇよ MLにおけるデータマネジメントの重要性 - ログミーTech dbtを利用したデータのテスト方法の基本 dbtにはSchemaTestsとData Testsと呼ばれるデータをテストする仕組みがあります。 dbtではモデルという概念でテー
SQLFluffって何? Fishtown Analytics社(dbtを作っている会社)が作ったSQLのリントツールです。 Dataformやdbt等を活用することで、多人数でのSQLのメンテナンスを実行していく上でコーディング規約の策定やその準拠が出来ているかというのを継続的に保つ必要性がでてくると思います。 このSQLFluffは他のプログラム言語でよくあるリントがある開発を導入することができます。 SQLFluff インストール
このページを最初にブックマークしてみませんか?
『zenn.dev』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く