MLモデル学習バッチのログ設計と監視ダッシュボード運用 - MicroAd Developers Blog

はじめに こんにちは、マイクロアドで機械学習エンジニアをしている木村です。 この記事では、マイクロアドにおける ML（Machine Learning）モデル学習バッチのログ設計とその監視について紹介します。 また、後半では実際のダッシュボードを用いた運用事例についても紹介します。 はじめに MLOpsとは 監視要件の整理 1. MLシステムの一般的な監視要件の確認 2. 実際のインシデントを元にした監視要件の整理 1と2から整理した今回の監視要件 ログテーブルの設計 Looker Studio によるダッシュボード設計 ダッシュボードの設計方針 実際のダッシュボード運用例 まとめ 機械学習エンジニア絶賛採用中 MLOpsとは MLOps とは、ML システムの開発から運用・監視までのライフサイクル全体を効率的に管理するための手法です。主な要素は以下の通りです。 要素 内容 データ管理 学

[sh19910711]

"学習バッチ内のコンポーネントから BigQuery にログを出力 / 予測モデルを特定のセグメントごとに分割して学習することが多いため、その粒度ごとにログを記録"