「MLOpsとはなにか？」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明しますRead less
先駆者に学ぶ MLOpsの実際
「MLOpsとはなにか？」という質問に対し、「データサイエンティストが、システム開発において、やらないことすべて」と定義した上で、MLOpsの説明、海外事例、「JapanTaxi」アプリでの事例を説明しますRead less
メルカリ、機械学習の実運用に関する国際会議「OpML’20」に論文が採択
〜機械学習による違反商品検知〜 株式会社メルカリ（以下、メルカリ）は、当社のAIエンジニアによる論文「Auto Content Moderation in C2C e-Commerce」（邦題：CtoCマーケットプレイスにおける機械学習による違反商品検知）が、2020年7月から8月にかけて開催される国際会議「2020 USENIX Conference on Operational Machine Learning (OpML’20)」にて採択されたことをお知らせいたします。 OpMLを主催するUSENIX協会は、約45年の歴史と権威がある団体で、いくつかの研究会から構成されています。OpMLは2019年より開催されている研究会で、機械学習を実世界で運用する際の課題と解決策がテーマになっています。近年、機械学習が研究領域分野だけでなく、さまざまな商用サービスで実運用されているなかで注目分野
機械学習システムの信頼性を数値化する ML Test Scoreのハンズオンワークショップを開催しました | メルカリエンジニアリング
こんにちは、メルカリでCRE (Customer Reliability Engineering) に所属している @hurutoriya です。 今回メルカリ社内での勉強会の一環として、Google が提案した機械学習システムの信頼性を数値化する ML Test Score のハンズオンワークショップを開催しました。 本記事では、ML Test Score の説明、ワークショップの開催方法や簡単な考察などをお話します。 今回はWFHの影響も受け Google Meet を使ったフルリモートでの開催となりました。 ワークショップの内容として、メルカリ内で実際に運用されている機械学習システムを対象に、実際にそのシステムを開発する機械学習エンジニアが ML Test Score を計算しました。 ML Test Scoreの説明 ML Test Score の目的は、定量化しづらい機械学習シス
機械学習品質管理・保証の動向と取り組み
2. 自己紹介 福島 真太朗 (Shintaro Fukushima) ● コネクティッド先行開発部InfoTech データ解析基盤G グループ長/プリンシパル・リサーチャー ● s_fukushima@mail.toyota.co.jp ● shi-fukushima@toyota-tokyo.tech ● TwitterID: shifukushima 2 ● 産業技術総合研究所人工知能研究センター 客員研究員 ○ NEDO・産総研 AI品質マネジメント検討委員会 委員 ● 国立情報学研究所 ○ JST未来社会創造事業 高信頼な機械学習応用システムによる価値創造 委員 4. トヨタ＠大手町 クルマのライフサイクルに関わるデータ解析を推進 4 ● 車両データ解析 (CAN・位置情報・画像等) ● 機械学習の品質管理・保証 ● マテリアルズ・インフォマティクス ● 生産工場における兆候検知
MLOps with a Feature Store
TLDR; If AI is to become embedded in the DNA of Enterprise computing systems, Enterprises must first re-align their machine learning (ML) development processes to include the automated testing, versioning, governance, and storage of ML assets (features and models). This blog introduces details on how to implement MLOps processes with a Feature Store. What is MLOps?MLOps is a recent term that descr
Monitoring Machine Learning Models in Production
Introduction Once you have deployed your machine learning model to production it rapidly becomes apparent that the work is not over. In many ways the journey is just beginning. How do you know if your models are behaving as you expect them to? What about next week/month/year when the customer (or fraudster) behavior changes and your training data is stale? These are complex challenges, compounded
5 Tips for MLflow Experiment Tracking
This article is about MLflow — an open-source MLOps tool. If you’ve never heard of it, here’s a tutorial. I am focusing on MLflow Tracking —functionality that allows logging and viewing parameters, metrics, and artifacts (files) for each of your model/experiment. When you log the models you experiment with, you can then summarize and analyze your runs within the MLflow UI (and beyond). You can und
機械学習システムの設計パターンを公開します。
メルカリで写真検索とEdge AIチームに所属している澁井（しぶい）です。機械学習のモデルを本番サービスに組み込むための設計やワークフローをパターンにして公開しました。 GithubでOSSとして公開しているので、興味ある方はぜひご笑覧ください！ PRやIssueも受け付けています。私の作ったパターン以外にも、有用なパターンやアンチパターンがあれば共有してみてください！ GitHub：https://github.com/mercari/ml-system-design-pattern GitHub Pages：https://mercari.github.io/ml-system-design-pattern/README_ja.html なぜ機械学習システムのデザインパターンが必要なのか 機械学習モデルが価値を発揮するためには本番サービスや社内システムで利用される必要があります。そのた
MLOps 海外テック企業の事例とフレームワークの紹介 - Gunosyデータ分析ブログ
はじめに こんにちはGunosy Tech Labの森本です。現在MLOps基盤を再整備しています。そこで調査した海外Tech企業の事例やMLOpsのフレームワークを紹介します。 Gunosy Tech LabのMedia MLチームではニュースアプリ（グノシー、ニュースパス、ルクラ）やクーポンアプリ（オトクル）の推薦アルゴリズムの改善を中心に機械学習を活用してアプリのサービス改善を日々行っています。過去にはチームが独立しており開発者も少数であったことから各チームがJupyter Notebook等でオフライン実験を行い、良い結果のものは本番環境に適用するためプロダクションコードを書き、レビューを行い、本番環境でA/Bテストするという流れでした。最近は開発者の人数も増え横断的にアプリのサービスを改善しているので、より効率的なMLOps基盤が求められています。 はじめに MLOpsとは 実現
新卒がMLOpsに挑戦していく話 - MicroAd Developers Blog
システム開発本部のデータサイエンスユニットに所属している19新卒の豊原です。 巷で結構耳にするMLOpsですが、結構苦労していらっしゃる組織も多いと考えます。 今回の記事では、マイクロアドで挑戦するMLOpsについての概要と、その挑戦について解説します。 機械学習システムが抱える根本的な問題 私たちの思うMLOpsとは CEという概念 レコメンドシステムが抱える根本的な性質 マイクロアドが作るシステムの現状 MLOpsで実現すること 技術的詳細 Airflowを用いて学習を同時並行で回す MLflowを用いて学習結果を保存する 機械学習エンジニア絶賛採用中 機械学習システムを構築する上で、他の通常のシステムと決定的に違うことがあります。 それはシステムの劣化の早さ*1と問題調査という点にあります。 機械学習システムが抱える根本的な問題 機械学習システムが抱える根本的な性質として、データを基
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpML '20 Conference Program
Demystifying a Dark Art: Understanding Real-World Machine Learning Model Development
Developments in MLflow: A System to Accelerate the Machine Learning Lifecycle
What Is ML Ops: Solutions and Best Practices for DevOps of Production ML Services | USENIX
MLOps2020
The DataOps Manifesto
Michelangelo Palette: A Feature Engineering Platform at Uber
Feature Store For ML
MLOps Done Right
AI Project Management Anti Pattern
