Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
こんにちは、技術本部 データシステム部 MLOpsブロックの平田（@TrsNium）です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex
【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの卜部です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年10月15日にオンラインで開催された AWS AI/ML@Tokyo #7では、AWS ソリューションアーキテクトより、AWSにおけるMLOpsプロセス実装のベストプラクティスや ML CI/CD環境の構築についてお話ししました。また、お客様活用事例として、株式会社コナミデジタルエンタテインメント様、ヤフー株式会社様 におけるAmazon SageMakerの事例をお話しいただきました。 「AWS で構築する MLOps 基盤」
MLOps（機械学習の実運用化）の活動目的＆方針を「デザイン思考」で議論した座談会の内容をレポート。デザイン思考フレームワーク＆ツール「MURAL」を紹介し、MLOps実践時の悩みと対策案を議論。世の中が抱えているMLOpsの課題を解決するためにコミュニティーの方針を検討する。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps（機械学習の実運用化）の普及に貢献していきます。 このレポートでは、2020年9月に行われた第2回のイベント活動である「MLOpsコミュニティ座談会」の様子をお伝えします。今回はコミュニティーの方針を少人数で議論するため参加者を16人に限定し、リモートで実施
ゼロからAI組織を作る｜ばんくし
はじめにAI組織をゼロから作り、拡大していく時のことを書く。 私自身がAI組織を立ち上げるにあたって、各社のAI組織の部長クラスやCTO、VPoEに20名以上にヒアリングした結果、そして私がここ1年強でした実体験を元にしている。 全ての場合で必ずしも正しいものではないかも知れないが、今後のために言語化しておく。 重要な３つのことあなたが「AI組織作ってよ」と言われた時、そして組織開拓を進めている時に絶対に必要な事が3つある。これから起こる事全ての事象で、この前提を頭に置いておかないといけない。 AI分野外の人は分野内の事は分からない 組織やグループのミッションに沿う事が必須 コミュニケーションを避けてはいけない これは私の経験的にもそうだし、あらゆるAI組織のリーダーが組織作りで最も多く挙げている重要要素でもある。 AI組織という船の漕ぎ手はあなた大前提、AI分野（機械学習エンジニア、デー
3年でバックエンドエンジニアが5倍に増えても破綻しなかったアーキテクチャ そして、これから / Software architecture that scales even with a 5x increase in backend engineers in 3 years
GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/
▼こちらのMLOps資料のv1.1版となります。 https://speakerdeck.com/shisyu_gaku/external-20220202-kurasukai-cui-azure-machine-learningwozhong-xin-tositamsfalsemlopssoriyu…
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月18日、機械学習プロジェクトの構築、展開、管理を行うための、データサイエンティストや機械学習エンジニア向けのマネージドプラットフォームである「Vertex AI」の一般提供開始を発表した。この発表が行われたのは、2021年はオンラインで開催されている開発者向けカンファレンス「Google I/O」でのことだ。 Googleは機械学習関連の製品やサービスを数多く提供しており、それらの製品にはAmazon Web Services（AWS）の「SageMaker」をはじめとするプラットフォームと競合するものもあるが、同社は市場に出回っているツールには不十分なものが多いと主張している。 Google CloudのVe
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
23新卒技術研修で実施したAI研修の講義資料です。 ハンズオン用リポジトリ：https://github.com/nami73b/machine-learning-notebooks-2023 資料の利用について 公開している資料は勉強会や企業の研修などで…
※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 これまでのデータ サイエンス分野での大きな問題の一つは、試験運用版段階を通過できないモデルが多数あることでした。データ サイエンス分野が成長を遂げ、成熟するにつれて、プロジェクトの開発速度と再現性を向上させる MLOps プロセスとツールが出現しました。データ サイエンス分野はまだ成長の途上ではありますが、これまで以上に多くのモデルが本番環境にまで到達するようになりました。 これは、自分のモデルが本番環境でどうスケールするかという、データ サイエンティストの次なる疑問へとつながります。本ブログ投稿では、マネージド予測サービスである Google Cloud の AI Platform Prediction を使用して、推論ワークロードのスケーリングに関する問題に対応す
Choose from Colab Enterprise or Vertex AI Workbench. Access every capability in Vertex AI Platform to work across the entire data science workflow—from data exploration to prototype to production.
GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用
はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す
Great! Let us know what you found helpful. What can we do to improve the content? Submit
人工知能（AI）システムは作って終わりではない。作ってからが本番で、その核となる機械学習（ML）のデータを絶えず新しいデータで更新しつつ、アルゴリズム（計算手法）も見直し、精度を高め続ける必要がある。このような機械学習モデルを運用しながら改良する手法は「MLOps（エムエルオプス）」と呼ばれ、その取り組みを支援するスタートアップも続々と生まれている。そうした新興企業をCBインサイツが分野別にまとめた。
Scala アプリケーションのビルドを改善してデプロイ時間を 1/4 にした話 | How I improved the build of my Scala application and reduced deployment time by 4x
オライリー様よりご恵贈いただきました。ML寄りのエンジニアとして継続的なモデルの訓練とデリバリーを伴なうMLシステムの信頼性をどう向上させるのかが気になって読みました。 本書では、ソフトウェアシステムの信頼性と安定性を保つことに優れたアプローチであるSRE（サイトリライアビリティエンジニアリング）の原則を適用し、信頼性が高く、効果的で、責任のある機械学習システムを構築し運用するための方法を紹介します。毛糸を販売している仮想のオンラインストア「yarnit.ai」を例に用いつつ、本番環境でのモデルモニタリングの方法から、製品開発組織で調整されたモデル開発チームを運営する方法まで解説します。 目次 1章 はじめに 2章 データマネジメント 3章 ML モデルの基礎 4章 特徴量と訓練データ 5章 モデルの確実性と品質の評価 6章 公正さ、プライバシー、倫理的なML システム 7章 ML モデル
v1.0 (2024/10/21) LLM と従来 ML との差異 (delta, Δ) に基づく MLOps の修正 伊藤駿汰 (Cloud Solution Architect) 栗田宗平(Cloud Solution Architect) はじめに 大規模言語モデル、LLM が大流行です。猫も杓子も LLM で、LLM および OpenAI にかなり入れ込んでいた Microsoft の勢いを見て Google が社内に保有していた LLM をサービスとして投入しようとしていたり、AWS が参入表明したり、大規模なテキストデータを擁する Twitter を手中に収めたイーロン・マスクが参入を表明したりと、提供者側プレイヤーはその数も面子もなかなかインパクトがあります。OSS の LLM も「数日おきに何か発表があるなぁ」という感じで日に日に増加しており、商用利用を見据えた使いやすいラ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄
第8回 Data-Centric AI勉強会 ~Human-in-the-Loop機械学習 特別回~の発表内容です。 https://dcai-jp.connpass.com/event/315963/ 書籍「Human-in-the-Loop 機械学習」において、翻訳を担当した章（1,7,8,…
LLMOps : ΔMLOps
v1.0 (2024/10/21) LLM と従来 ML との差異 (delta, Δ) に基づく MLOps の修正 伊藤駿汰 (Cloud Solution Architect) 栗田宗平(Cloud Solution Architect)
MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 今回は、その中でも実験の管理と可視化を司る MLflow Tracking を試してみることにした。 機械学習のプロジェクトでは試行錯誤することが多い。 その際には、パラメータやモデルの構成などを変えながら何度も実験を繰り返すことになる。 すると、回数が増えるごとに使ったパラメータや得られた結果、モデルなどの管理が煩雑になってくる。 MLflow Tracking を使うことで、その煩雑さが軽減できる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G5033 $ python -V Python 3.7.
Some knowledge of AI / deep learning Intermediate Python skills Experience with any deep learning framework (PyTorch, Keras, or TensorFlow)
Monitoring feature attributions: How Google saved one of the largest ML services in trouble | Google Cloud Blog
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
第3次AIブームと言われて久しく、すでにさまざまな企業が画像認識や音声認識、自然言語処理などを生かしたAIサービスを提供するようになった。 AIを実装する機械学習アルゴリズム、特に深層学習は、従来のルールベースなアルゴリズムより高い精度を出せる場合があるのが利点の一つだ。しかし、内部はブラックボックスになりがちで精度改善が難しい場合や、機械学習モデルに学習させるべきデータが適切に整形されていないこともある。 こうした「AI開発」前後の運用を成功に導く取り組みとして、近年「MLOps」（エムエルオプス）という開発手法に注目が集まり始めている。 特集：MLOpsキホンのキ AIベンダーやノーコード／ローコードでのAIモデル作成ツールなどが増え、以前よりはAIを導入しやすい環境になった。しかし、AI導入の“前後”はおろそかになっていないか。開発体制は迅速に回るか。モデル精度はモニタリングできてい
CI/CD for Machine Learning in 2024: Best Practices & Tips | JFrog ML
Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Learning, where models undergo regular retraining with new data and are deployed for serving predictions. In this article, we delve into actionable strategies for designing a robust CI/CD pipeline for Machine Learning. Our
「DeNA TechCon 2021 Winter」は、学生に向けて、DeNAを軸に「エンジニアとして企業で働くこと」について、先輩たちが紹介するイベントです。そこでMLエンジニアの川瀬拓実氏が、DeNAのMLOpsについて話をしました。 DeNAの「MLOps」川瀬拓実氏（以下、川瀬）：こんにちは。川瀬拓実と申します。本セッションでは、DeNAのMLOpsについて話をしていきたいと思います。よろしくお願いします。 まず自己紹介から入りますが、2020年卒のエンジニアで、現在はシステム本部データ統括部AI基盤部MLエンジニアリング第一グループに所属して、MLOpsを行っています。 まずMLOpsって何？というところから入っていきたいと思いますが、MLOpsはDevOpsとAIの概念が組み合わさってできた比較的新しい概念で、特にAI周りのサポートをすることに特化したものになっています。昨今、
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点について - Qiita
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
Spotify operates at a massive scale: We have millions of listeners whose activities generate huge amounts of raw data. Raw data by itself is not that helpful though; we need to be able to process, manage, and distill it into insights that can inform new features or improvements to the experience. And to do that, we need usable, well-designed tools that ensure these insights can be easily understoo
Full Stack Deep Learning | Full Stack Deep Learning
We are teaching an updated and improved FSDL as an official UC Berkeley course Spring 2021. Sign up to receive updates on our lectures as they're released — and to optionally participate in a synchronous learning community. Sign up for 2021 Since 2012, deep learning has led to remarkable progress across a variety of challenging computing tasks, from image recognition to speech recognition, robotic
機械学習システムアーキテクチャ入門 ＃2
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference 澁井 雄介 著 AIエンジニアのための機械学習システムデザインパターン 翔泳社…
こんにちは、データシステム部推薦基盤ブロックの寺崎（@f6wbl6）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めているVertex Feature Storeの機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 MLOps基盤に関する取り組みについては以下のテックブログでも取り上げていますので、こちらもご参照ください。 techblog.zozo.com techblog.zozo.com techblog.zozo.com 推薦基盤ブロックが抱える機械学習システムの課題 機械学習システムの課題に対する取り組み Feature Store 概要 Feature Storeの選定 Vertex
By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a horizontally scalable workflow orchestrator designed to manage large-scale Data/ML workflows
機械学習システムアーキテクチャ入門 #1
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference ### 大規模なデータを扱う難しさ - Architecture Evo…
This article is about MLflow — an open-source MLOps tool. If you’ve never heard of it, here’s a tutorial. I am focusing on MLflow Tracking —functionality that allows logging and viewing parameters, metrics, and artifacts (files) for each of your model/experiment. When you log the models you experiment with, you can then summarize and analyze your runs within the MLflow UI (and beyond). You can und
ZOZO Technologies Meetup は、「ZOZOテクノロジーズの大規模データ活用に興味のある方」を対象としたイベントです。ZOZO研究所の渡辺氏からは大規模データを対象とした画像検索システムのワークフローについての事例を紹介しました。後半は画像検索のワークフローの流れについて。 画像検索のワークフローの流れ 渡辺慎二郎氏：というところの話になってきて、これがワークフロー、それを毎日のように準備するという仕組みになります。先ほど見せた図で言うと、この部分ですね。 このワークフロー、今回ではComposerというGKEのマネージドサービスを使っています。これの中身、具体的な仕組みは置いておいて、流れをご紹介します。 まずBigQueryから、本日今時点で有効になっている、使える、発売になっている商品情報をダーッと取ってきます。だいたいこれが300万画像ぐらい。その日によって違っ
MLOps の国際会議 OpML'20 に、機械学習を活用した商品監視の改善に関する論文が採択されたので登壇してきた 2020-09-06 MLOps の査読付き国際会議 2020 USENIX Conference on Operational Machine Learning (略称 OpML'20)に論文が採択されたので、登壇してきた。 Podcast でも紹介しました。 #1 MLOps の国際会議 OpML20 について at just4fun.fm MLOps の査読付き国際会議と OpML の立ち位置機械学習エンジニアリング・MLOps の領域の会議でも一番有名なものとして 2018 年に発足したMLSysがあります。(ちなみに最初は SysML という名前でした) このカンファレンスの傾向としては、アカデミアの研究者主体の発足経緯からアカデミアからインダストリーへの橋渡し的
機械学習パイプラインの要件と Vertex Pipelines / Kubeflow Pipelines V2 による実装
サンプルパイプライン : https://github.com/reproio/lab_sample_pipelines/tree/main/kfp 解説記事 : https://tech.repro.io/entry/2021/06/22/125113 ハンズオン資料 : https://gist…
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLOps実践者たちのリアルなお悩みの解決にコミュニティーがどう貢献できるか
現場課題に向き合い MLOps成熟度を高める道
GOのデータ・AIを活用する「組織」を30分で紹介
Step-by-Step MLOps and Microsoft Products
グーグル、マネージド機械学習プラットフォーム「Vertex AI」を一般提供
AI研修【MIXI 23新卒技術研修】
機械学習による予測を自動的にスケールする方法 | Google Cloud 公式ブログ
Vertex AI Workbench | Google Cloud
機械学習バッチ実行環境を整備した話 - pixiv inside
Where to find help: DataRobot docs
AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞
hydra-mlflow-optuna
信頼性の高い機械学習―SRE原則を活用したMLOps を読んだ
LLMOps を考え始める - ShuntaIto Tech Blog
MLOpsを支えるヤフー独自のモデルモニタリングサービス
Python: MLflow Tracking を使ってみる - CUBE SUGAR CONTAINER
Machine Learning in Production
「いつの間にか精度が落ちて慌てて直す」──“AI運用あるある”を成功に導く「MLOps」とは
AIの開発をどのようにサポートするのか？ DeNAのMLOpsエンジニアのお仕事 | ログミーBusiness
Designing Data Science Tools at Spotify: Part 1
Vertex Feature Storeの機械学習システムへの導入 - ZOZO TECH BLOG
Maestro: Netflix’s Workflow Orchestrator
Amazon.co.jp: 仕事ではじめる機械学習 第2版: 有賀康顕, 中山心太, 西林孝: 本
5 Tips for MLflow Experiment Tracking
ビッグデータ活用時のワークフローの大切さ ZOZO研究所のエンジニアが感じた次元が違う300万画像の処理
MLOps の国際会議 OpML'20 に、機械学習を活用した商品監視の改善に関する論文が採択されたので登壇してきた
www.start.gg
tsuyoshi.dt.weblog.vc
viewer.heros-web.com
qiita.com/ryome
yuyakekoyakeakatombo.hatenablog.com
po-l.hatenablog.com