[B! monitoring][machinelearning] lepton9のブックマーク

明日使えるかもしれないLoss Functionsのアイディアと実装

特徴的な損失関数(Loss Functions)についてそのアイディアとPyTorchの実装を紹介。

lepton9 2024/06/23

リンク

推薦システムの実績をLookerでモニタリングする - ZOZO TECH BLOG

はじめにこんにちは。ML・データ部/推薦基盤ブロックの佐藤（@rayuron）です。私たちは、ZOZOTOWNのパーソナライズを実現する機械学習を用いた推薦システムを開発・運用しています。また、推薦システムの実績を定常的に確認するためのシステムも開発しています。本記事では、Lookerを用いて推薦システムの実績をモニタリングするシステムの改善に取り組んだ件についてご紹介します。はじめに改善の背景と課題背景課題課題解決のために要件1. 指標異常時の自動アラート要件2. サマリの定期配信要件3. 上記2つをSlack通知できることダッシュボードの候補の比較要件を満たすための設計要件の実現方法開発環境と本番環境実装ディレクトリ構成ダッシュボードダッシュボード構築の流れ配信実績に関して推薦結果に関して GitHub Actions 1. 指標異常時の自動アラー

lepton9 2023/02/24

リンク

【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 | メルカリエンジニアリング

【書き起こし】メルペイが取り組む機械学習システムの品質保証 – Hiroshi Yoshizawa【Merpay Tech Fest 2022】 Merpay Tech Fest 2022 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2022年8月23日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。この記事は、「メルペイが取り組む機械学習システムの品質保証」の書き起こしです。それでは「メルペイが取り組む機械学習システムの品質保証」というテーマでお話しします。よろしくお願いします。自己紹介 Yoshizawaと申します。金融系のエンジニアでキャリアをスタートし、2014年頃から機械学習の仕事をはじめました。7年ほど働いた後、2021年に

lepton9 2022/11/20

リンク

本番環境での機械学習モデルの監視について (1/3)

このシリーズでは本番環境でのモデルの監視の必要性について考えていきます。全3回を予定しています。今回はその最初の回です。データの集計処理に不具合が発生してしまい、すべてのユーザーのログイン回数が0となってしまった場合に発生する事象について、ケーススタディとして見ていきます。今回の要旨機械学習を本番環境で用いる場合、モデルに投入するデータが壊れると結果が壊れる機械学習モデルの精度指標を監視するだけでは不十分なことがあるデータの型だけではなく、欠損を表す値の割合や値の分布の変化についても監視が必要TOC· はじめに · 主旨 · 前提: EC サイトのマーケティングキャンペーン · 背景 · 机上検証 · 評価結果 · ケーススタディすべてのユーザーのログイン回数が0 · 問題発生 · 発生した事象 · 原因 ∘ 他チームの行った変更に対応できていない ∘ データの欠損について気がつけて

lepton9 2022/01/16

リンク

ゆるふわMLOps入門 - Re:ゼロから始めるML生活

MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍へのリンクはこちらです。 n月刊ラムダノート Vol.1, No.1(2019)（紙書籍＋PDF版） – 技術書出版と販売のラムダノートこちらの書籍では基本的な背景からきれいに整理されていました。こちらを参考にしつつ、頑張ってMLOpsの動向について整理してみたので、そのメモです。それでは張り切って書いていきます。 tl;dr; 背景・問題設定機械学習は学習のアルゴリズムよりその周辺のほうが大きい機械学習システムに携わる人の役割の違いによってうまくいかないことがある機械学習システムの構築・運用する上で課題も多い問