Feature Attributions の監視：Google はいかに大規模な ML サービスの障害を乗り越えたのか | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 9 月 29 日に、Google Cloud blog に投稿されたものの抄訳です。 Google で起きた大規模 MLOps の危機クラウディ・グルシアは Google のソフトウェアエンジニアであり、何十億ものユーザーにコンテンツを推薦している機械学習（ML）モデルに関わっています。2019 年 10 月、彼は ML 監視サービスからアラートを受けました。モデルの特徴量（ここでは、この特徴量を F1 とします）の重要度が下がってきていたのです。この特徴量の重要度は、モデルの予測において、特徴量の影響の大きさを表す指標である「Feature Attributions」で計測されています。この重要度の減少とともに、モデルの精度が急激に低下していました。 このアラートを受け、彼はすばやくモデルを再学習させました。その結果、F1 の代替となる 2 つの特徴量
Easy Hyperparameter Management with Hydra, MLflow, and Optuna
Two major methods can be considered for hyperparameter management in machine learning. Configuring hyperparameters from the command line using argparse Hyperparameter management via configuration filesAn Example of a Typical Hyperparameter ManagementWhen using argparse for managing hyperparameters, it is convenient to change them directly from the command line, but the number of hyperparameters to
MLflowをGKEで動かす快適な実験管理ハンズオン | AI tech studio
AI Labの岩崎(@chck)です、こんにちは。今回は前記事よりも実践的な、AI Labにおける実験管理システムの話をしたいと思います。ここでいう実験とは、データを収集・加工し、統計や機械学習を用い、設定したタスクや仮説を明らかにすることです。実験管理とはその評価や使ったパラメータ及び実験コードを再現できる形で保管することを指します。 対象読者 個人や大学、企業所属でJupyterLab上の実験管理に苦労している方 チームでKaggle等のデータ分析コンペに参加している方 Kubernetes、GCP、Terraformといったキーワードに興味のある方 tl;dr MLflowをGKEに載せることで、高可用でユーザ認証を持つMLflow Tracking Serverを作りました。更にTerraformによる1command構築を目指しました。中規模以上の研究室を想定し、Load Bal
MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG
こんにちは。カスタマーサクセス部 リサーチャーの坂田です。 レトリバでは、固有表現抽出、分類、PoC用ツール作成に取り組んでいます。 PoC用ツール作成は、研究成果をより迅速にPoCで試せることを狙いとしています。 実験結果の可視化UIが充実しているMLFlow を中心に、足りないところを補うため、その他のツールとの組み合わせについて考えていきます。 MLFlow MLFlow は、実験管理からデプロイまでカバーしたツールです。特定のツールに依存しないということに重きを置いています。 4つのコンポーネントに分かれており、必要な機能のみを使えるようになっています。 MLflow Tracking : パラメータ、コードのバージョン管理、生成物の捕捉などを行う機能など。 MLflow Projects : 再現性を担保するための機能など。 MLflow Models : デプロイの支援機能など
ML Test Scoreを使って現状の機械学習システムをスコアリングしました - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． コネヒトでは，テクノロジー推進部に所属し，組織横断的に機械学習（ML）施策の実施・推進を通してサービスグロースする役割を担っています． はじめに MLチームでは，少人数ながらレコメンドエンジンの開発*1やカテゴリ類推*2などの機械学習を用いたサービス開発を実施しています．一方でプロダクション環境に投入するMLシステムの数が増えると，それら1つ1つが属人的になったり，テストが不十分だったり，運用が疎かになったり，それ以外に技術的にも負債が蓄積するケースがあります．私たちのチームでもこれらが課題の1つとなっています． 上図はよく目にするMLシステムの技術的負債の図*3ですが，MLシステムはモデル開発だけでなく，MLシステムを支える周辺のインフラや各種メトリクスのモニタリングなど考慮すべき項目が多くあります．加えてMLシス
小さく始めて大きく育てるMLOps2020 | | AI tech studio
AI Labの岩崎(@chck)です、こんにちは。今日は実験管理、広義ではMLOpsの話をしたいと思います。 MLOpsはもともとDevOpsの派生として生まれた言葉ですが、本稿では本番運用を見据えた機械学習ライフサイクル（実験ログやワークフロー）の管理を指します。 https://www.slideshare.net/databricks/mlflow-infrastructure-for-a-complete-machine-learning-life-cycle 参考記事のJan Teichmann氏の言葉を借りると、 エンジニアがDevOpsによって健全で継続的な開発・運用を実現している一方、 多くのデータサイエンティストは、ローカルでの作業と本番環境に大きなギャップを抱えている クラウド含む本番環境でのモデルのホスティングが考慮されないローカルでの作業 本番のデータボリュームやス
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)
Software Engineering, as a discipline, has matured over the past 5+ decades. The modern world heavily depends on it, so the increased maturity of Software Engineering was an eventuality. Practices like testing and reliable technologies help make Software Engineering reliable enough to build industries upon. Meanwhile, Machine Learning (ML) has also grown over the past 2+ decades. ML is used more a
Home — MLOps World
MLOps / Gen AI World is a unique collaborative event for the Ml/Gen AI community comprised of over 20,000 ML researchers, engineers, scientists and entrepreneurs across several disciplines. Taken from the real-life experiences of practitioners, the Steering Committee has selected the top applications, achievements and knowledge-areas to highlight across the event. Come expand your network with ML/
ml-ops.org
MLOps Principles As machine learning and AI propagate in software products and services, we need to establish best practices and tools to test, deploy, manage, and monitor ML models in real-world production. In short, with MLOps we strive to avoid “technical debt” in machine learning applications. SIG MLOps defines “an optimal MLOps experience [as] one where Machine Learning assets are treated con
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ - GMOインターネットグループ グループ研究開発本部
2020.10.05 KaggleOpsを考える ~ MLflow + Colaboratory + Kaggle Notebook ~ こんにちは。次世代システム研究室のY. O.です。 筆者はデータ分析のスキルアップのためにkaggleというデータ分析プラットフォームを活用しています。kaggleを始めてから約2年間を経て、スキルアップの枠を超え、趣味・生活の一部・etc.になってきてしまっているのも認めざるを得ません。。。 今回は、先日kaggleの自然言語処理コンペ（Tweet Sentiment Extraction）で2位になった結果を題材に、振り返りの意味を込めて”こうしておけば良かった”という点をMLOpsの観点でまとめていきたいと思います。 ここで、kaggleを取り巻くMLOpsの構成をKaggleOpsと勝手に呼ぶこととし、少なくとも筆者は今後のコンペでも以下にまとめ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Caliban — Caliban documentation
Complete Data Science Project Template with Mlflow for Non-Dummies.
5 Reasons why you should Switch from Jupyter Notebook to Scripts
Two approaches for data validation in ML production
GitHub - google/ml-metadata: For recording and retrieving metadata associated with ML developer and data scientist workflows.
サイバーエージェントにおけるMLOpsに関する取り組み at PyDataTokyo 23
JOURNE @ MLSys
How Optimizing MLOps Can Revolutionize Enterprise AI
