バクラクのAI-OCRを支える精度モニタリング -モニタリングドリブンの改善-MLOps LT大会 2023/7月 登壇資料 https://mlops.connpass.com/event/286716/ バクラクのAI-OCRを支える精度モニタリングについて紹介します。OCR技術は、ビジネスプロセスを効率化する上で必要不可欠な技術の一つですが、その精度を維持するためには、常にモニタリングが必要です。バクラクのMLチームでは、AI-OCRの精度モニタリングに重点的に取り組んでおりその内容を紹介します。
Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームチームに所属している黒松です。 今年の1月に公開した「MLOpsを支えるヤフー独自のモデルモニタリングサービス」の記事ではヤフーが内製したモデルモニタリングツールであるDronach（ドロナック）をご紹介しました。 本記事では、新たにDronachに追加したFeature Attributionドリフト検定機能を実例とともにご紹介します。 AIプラットフォームチームについて 私が所属しているAIプラットフォームチームは、社内のAI活用を促進するための共通プラットフォームを開発し提供することが目的のチームです。 AIプラットフォームは、Namespaceで分離されたマルチテナントKuberne
【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 | メルカリエンジニアリング
【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 Merpay Tech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「メルペイが取り組む機械学習システムの品質保証」の書き起こしです。 それでは「メルペイが取り組む機械学習システムの品質保証」というテーマでお話しします。よろしくお願いします。 自己紹介 Yoshizawaと申します。金融系のエンジニアでキャリアをスタートし、2014年頃から機械学習の仕事をはじめました。7年ほど働いた後、2021年に
本番環境での機械学習モデルの監視について (1/3)
このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。 今回の要旨 機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディ すべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
