機械学習システムの監視入門 - Qiita

1. なぜ監視するのか Jupyter Notebookでの実験が実を結び、MLパイプラインを通して本番で稼働させるモデルが作成され、無事にデプロイされてREST API経由でそのモデルを運用するまでに至ったのでミッションは完了か？ → デプロイが本当のゴールではない。世界に放たれたそのモデルが期待通りに動作しているかを継続的に監視し続けなければならない 世界は刻々と変化するが、モデルの開発では通常、過去のデータから静的なモデルを構築する → 監視をすることで、予測精度の低下を検知することができ、適切なモデル更新タイミングを知ることができる モデルの再学習にはコストがかかるので、精度とのトレードオフがある 2. 何を監視するのか Software metrics メモリ/CPU/GPUなどのハードウェアリソースの使用量、レスポンスタイム、リクエスト数、成功率 Input metrics 入

[misshiki]

書き方が箇条書きであっさりしていますが（スライドだからかな）、参考になるかなと。