データテストライブラリー「Deequ」を触ってみた - 終末 A.I.
DeequはAWSがリリースしているデータテストを行うためのライブラリです（Deequの説明ではUnit Testと表現されています）。 ここで言うデータテストは、ETL処理やデータマート作成処理などの意図通り動いているどうか、取り込んだデータが昔と変化していないかを確認するための検証処理のことを指しています。 ETL処理などを最初に作成したタイミングでは、その処理が意図したものになっているか確認すると思います。一方で、日次のバッチ処理や、動き続けているストリーム処理について、本当に意図したようにデータが加工されているかどうかは、通常の方法では処理自体が成功したかどうかくらいしか確認するすべがありません。 しかし、日々のデータ処理は簡単に意図しないデータを生み出してしまう可能性があります。気づいたらデータの中身が変わっていて、変換処理が意図しない動作をしてしまっていたり、そもそもソースデー
Use the built-in Amazon SageMaker Random Cut Forest algorithm for anomaly detection | Amazon Web Services
AWS Machine Learning Blog Use the built-in Amazon SageMaker Random Cut Forest algorithm for anomaly detection Today, we are launching support for Random Cut Forest (RCF) as the latest built-in algorithm for Amazon SageMaker. RCF is an unsupervised learning algorithm for detecting anomalous data points or outliers within a dataset. This blog post introduces the anomaly detection problem, describes
Test data quality at scale with Deequ | Amazon Web Services
AWS Big Data Blog Test data quality at scale with Deequ March 2023: You can now use AWS Glue Data Quality to measure and manage the quality of your data. AWS Glue Data Quality is built on DeeQu and it offers a simplified user experience for customers who want to this open-source package. Refer to the blog and documentation for additional details. You generally write unit tests for your code, but d
Anomaly Detection Using PySpark, Hive, and Hue on Amazon EMR | Amazon Web Services
AWS Big Data Blog Anomaly Detection Using PySpark, Hive, and Hue on Amazon EMR Veronika Megler, Ph.D., is a Senior Consultant with AWS Professional Services We are surrounded by more and more sensors – some of which we’re not even consciously aware. As sensors become cheaper and easier to connect, they create an increasing flood of data that’s getting cheaper and easier to store and process. Howev
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GluonTS: Probabilistic and Neural Time Series Modeling in Python
GitHub - awslabs/gluonts: Probabilistic time series modeling in Python
Real-time Recommendations using Spark Comcast Labs
