KubeflowによるMLOps基盤構築から得られた知見と課題 - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの中山（@civitaspo）です。みなさんはGWをどのように過ごされたでしょうか。私は実家に子どもたちを預けて夫婦でゆっくりする時間にしました。こんなに気軽に実家を頼りにできるのも全国在宅勤務制度のおかげで、実家がある福岡に住めているからです。「この会社に入って良かったなぁ」としみじみとした気持ちでGW明けの絶望と対峙しております。 現在、MLOpsチームでは増加するML案件への対応をスケールさせるため、Kubeflowを使ったMLOps基盤構築を進めています。本記事ではその基盤構築に至る背景とKubeflowの構築方法、および現在分かっている課題を共有します。 目次 はじめに 目次 MLOpsチームを取り巻く状況 MLOps基盤の要件 MLOps基盤技術としてのKubeflow Kubeflowの構築 ドキュメント通りにKubeflowを構
AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
Airflow vs Luigi vs Argo vs Kubeflow vs MLFlow
Just tell me which one to useYou should probably use: Apache Airflow if you want the most full-featured, mature tool and you can dedicate time to learning how it works, setting it up, and maintaining it.Luigi if you need something with an easier learning curve than Airflow. It has fewer features, but it’s easier to get off the ground.Prefect if you want something that’s very familiar to Python pro
AI Platform Pipelines の概要 | Google Cloud
フィードバックを送信 AI Platform Pipelines の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 機械学習（ML）ワークフローには、データの準備と分析、モデルのトレーニングと評価、トレーニング済みモデルの本番環境へのデプロイ、ML アーティファクトの追跡、依存関係の理解などが含まれます。こうしたステップをアドホック方式で管理することは困難で、時間がかかる可能性があります。 MLOps は、ML ワークフローの自動化、管理、監査のために DevOps プラクティスを適用するプラクティスです。AI Platform Pipelines では、ワークフローのステップをパイプラインとしてオーケストレートできるプラットフォームを提供することで、MLOps を実現できます。ML パイプラインは、ML ワークフローの移植可能で再現可能な定義です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Airflow vs Kubeflow vs MLFlow Learning Materials · Issue #4 · gyan42/mathi · GitHub
Kubeflow — Rok 1.1-rc5 documentation
Kubeflow & Kale simplify building better ML Pipelines with automatic hyperparameter tuning
Kubeflow 1.1 improves ML Workflow Productivity, Isolation & Security, and GitOps