Batch Transform（バッチ推論）で Amazon SageMaker Model Monitor を使ってみる - Qiita

はじめに 今までリアルタイム推論時にしか使えなかった Amazon SageMaker Model Monitor がバッチ推論に対応 したので、ちょっと試してみようと思います。 Amazon SageMaker Model Monitor とは 推論時の入力データや推論結果を監視して、モデルを学習した際に使用したデータと変化があるか（ドリフト）や推論精度の低下を検出する機能です。ビルトインで提供されている機能としては、Deequ というライブラリを使って学習データの統計量をベースラインとして算出して、モデルデプロイ後の推論時の入力データに対しても同様に統計量を算出してベースラインと比較します。 サンプルコードを見る こちらの GitHub リポジトリ にサンプルコードが公開されています。データ監視とモデル監視のサンプルがありますが、今回は こちらのオンデマンドのデータ監視のサンプルノート