データテストライブラリー「Deequ」を触ってみた - 終末 A.I.

DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべがありません。 しかし、日々のデータ処理は簡単に意図しないデータを生み出してしまう可能性があります。気づいたらデータの中身が変わっていて、変換処理が意図しない動作をしてしまっていたり、そもそもソースデー

[sh19910711]

2021 / "Deequ: データテストを簡単に実施できるようにするためのScala製ライブラリです。PythonラッパーであるPyDeequもあります / AnomalyDetectionという、過去のデータの状態も参照してテストするための処理も組み込まれている"

[gappy50]

いいなこれ