機械学習システムの信頼性を数値化する ML Test Scoreのハンズオンワークショップを開催しました

こんにちは、メルカリでCRE (Customer Reliability Engineering) に所属している @hurutoriya です。 今回メルカリ社内での勉強会の一環として、Google が提案した機械学習システムの信頼性を数値化する ML Test Score のハンズオンワークショップを開催しました。 本記事では、ML Test Score の説明、ワークショップの開催方法や簡単な考察などをお話します。 今回はWFHの影響も受け Google Meet を使ったフルリモートでの開催となりました。 ワークショップの内容として、メルカリ内で実際に運用されている機械学習システムを対象に、実際にそのシステムを開発する機械学習エンジニアが ML Test Score を計算しました。 ML Test Scoreの説明 ML Test Score の目的は、定量化しづらい機械学習シス

[masadream]

「機械学習システムの技術的負債を可視化し現状を把握するためのフレームワーク」チェックリストのようなもの。

[masayoshinym]

“ML Test Score”

[misshiki]

“ML Test Score の目的は、定量化しづらい機械学習システムの技術的負債を可視化し現状を把握するためのフレームワークです。”