Great ExpectationsでBigQueryのデータ品質を監視する | フューチャー技術ブログ

1. はじめにこんにちは、フューチャーでアルバイトをしている板野です。 Great Expectationsというツールを使って、表形式データの品質をバリデーションする流れをご紹介します。 MLOpsを推進するにあたりMLモデルの監視が必要となってきています。その中でも、MLモデルに入出力されるデータ品質をバリデーションすることは重要な監視事項の1つです。 ML監視についての概要や意義については、こちらの記事で詳しく述べられているのでぜひご覧ください。 2. Great Expectationsの概要 ※公式サイトロゴ Great Expectations（GX）はデータ品質監視ツールの1つで、表形式データの品質監視ができます。GXはOSSであり、Pythonライブラリとして提供されています。 予めデータに対し、Expectationと呼ばれる「データのあるべき姿」を定義しておき、監視対象

[sh19910711]

"Notebookを実行して、CLIでは設定しずらい詳細な設定を適用していく仕様 / Notebookを使わない場合は直接yamlファイルを編集することになります / 公式コミュニティに既存のExpectationsが300個以上 + Expectationを自作することも可能"