Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化
Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを
MLflow - A platform for the machine learning lifecycle
Latest Blog Posts MLflow Docs Overhaul The MLflow Documentation is getting an upgrade. Simplifying the LLM journey: From crafting and evaluation to deployment Works with any ML library, language & existing code Runs the same way in any cloud Designed to scale from 1 user to large orgs Scales to big data with Apache Spark™ MLflow is an open source platform to manage the ML lifecycle, including expe
機械学習システムとテスト (1/4)
このシリーズでは機械学習システムにおけるテストについて考えていきます。次の図は DevOps のプラクティスにおいてテストが密接に関わっていることをよく表しています。(図はブログポスト Continuous Testing in DevOps… — Dan Ashby をもとに弊社で作成しました) システム開発においてテストは必要不可欠なものであり、開発のすべての工程と密接に関わっています。このため、テストを自動化しておき、開発者の環境や CI/CD パイプラインで常に実行するのは近代的な開発において一般的です。 一方、機械学習システムのテストは非常に困難であったり、場合によっては不可能なこともあります。このことはよく知られており、たとえば最近では2021年12月に開かれたNeurIPS Data-Centric AI Workshopのセッションのひとつである Technical Deb
Gradio
Fast, easy setup Gradio can be installed with pip. Creating a Gradio interface only requires adding a couple lines of code to your project. Seamlessly use any python library on your computer. If you can write a python function, gradio can run it. Present and share Gradio can be embedded in Python notebooks or presented as a webpage. A Gradio interface can automatically generate a public link you c
Step-by-Step MLOps and Microsoft Products
▼こちらのMLOps資料のv1.1版となります。 https://speakerdeck.com/shisyu_gaku/external-20220202-kurasukai-cui-azure-machine-learningwozhong-xin-tositamsfalsemlopssoriyusiyonfalsegai-yao-toakitekutiya 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。 ▼更新情報 ・2022年5月末(主にMSBuild)にて 一般提供(GA)を開始した Azure ML v2 ベースの実装・機能紹介スライドへの変更 ・トラフィックのミラーリングなど新しい Azure M
Part 1: NatWest Groupにおけるスケーラブル、セキュア、かつサステナブルなMLOps基盤の構築 | Amazon Web Services
Amazon Web Services ブログ Part 1: NatWest Groupにおけるスケーラブル、セキュア、かつサステナブルなMLOps基盤の構築 このブログ記事は Part 1: How NatWest Group built a scalable, secure, and sustainable MLOps platform を翻訳したものです。 本ブログ記事は、英国のメジャーな金融機関・NatWest Group がAWSとの協業を通じて実現した、スケーラブル、セキュア、かつサステナブルなMLOps基盤プロジェクトについて解説した4つの記事からなるシリーズの1本目の記事です。 この記事では、AWSとNatWest Groupの合同チームが Amazon SageMaker Studio を活用し、わずか9か月でデータサイエンス環境の標準化を実現した取り組みの概要について
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング
プラットフォームの動作デモを25:59から行っていますので、動画でご覧ください。 トレーニングワークフローのサポートでは、次のようなソフトウェア・ライブラリが使われています。 ユーザーがKubeflow pipelineを作成 ローカルまたはCircle CI経由でデプロイ チームのGCPプロジェクトからDockerイメージなどを取得 トレーニングの結果をSlackで通知 トレーニング終了後、モデルのパラメーターと精度をmlflowに格納 モデルをチームのGCPプロジェクトにプッシュ 結果が悪い場合には再トレーニング MLプラットフォームの特徴 メルカリのMLプラットフォームは次のような特徴を持っています。 プロファイルは独立し、ユーザーは自分の作業しているプロジェクトのデータのみにアクセス可能 CPU/GPU/TPUなどのリソースはオンデマンドに提供 PrometheusとGrafana
Vertex AIを活用したMLOpsの実現【前編】 | 株式会社CAM
｜目次 1. はじめに 2. MLOpsとは 3. VertexAIの概要 4. Vertex Pipelineについて -概要 -コンポーネントの実装例 -パイプラインの実装例 -Vertex PipelineでのKubeflow Pipelineの実行 5. まとめ 6. 参考資料 ｜1. はじめに 株式会社CAMで機械学習エンジニアをしています原 和希です。 データ分析から機械学習モデルの作成、そしてMLOps基盤の構築を担当しています。 今回はMLOps基盤の構築をトピックとして、弊社で導入している「VertexAI」という、GCP 上で MLOps 基盤を実現するためのサービスを紹介します。 本記事は前編と後編に分かれています。 この前編ではMLOpsについてと機械学習パイプラインを実現するためのサービスであるVertex Pipelineについて詳しく解説をします。 後編では、
データサイエンティストだけでAI開発を加速する「Light MLOps」 “エンジニア不要”のメリットとデメリット
AIや機械学習アルゴリズムの開発手法の一つである「MLOps」（エムエルオプス）という手法が、いま注目を集めている。ソフトウェア開発者と運用担当者がお互いに協力することで開発を迅速に進める取り組みや文化である「DevOps」の「ソフトウェア」の部分を「機械学習」に置き換えたものをMLOpsと称し、AIを自社開発する企業での導入が始まっている。 MLOpsでは、AI開発に関わるデータサイエンティストや機械学習エンジニアなどが連携し、AIの開発、運用を行う。そうすることで、複雑なワークフローを構築しても管理や自動化が容易になり、開発が加速化するなどの利点が生まれる。 ただし、企業の体制によってはこの実施が難しい場合もある。エンジニア側に工数が集中することもあれば、データサイエンティストが機械学習モデルの作成に集中できないこともあるからだ。 こうした課題を解決する方法として、「Light MLO
AIの開発をどのようにサポートするのか？ DeNAのMLOpsエンジニアのお仕事
「DeNA TechCon 2021 Winter」は、学生に向けて、DeNAを軸に「エンジニアとして企業で働くこと」について、先輩たちが紹介するイベントです。そこでMLエンジニアの川瀬拓実氏が、DeNAのMLOpsについて話をしました。 DeNAの「MLOps」 川瀬拓実氏（以下、川瀬）：こんにちは。川瀬拓実と申します。本セッションでは、DeNAのMLOpsについて話をしていきたいと思います。よろしくお願いします。 まず自己紹介から入りますが、2020年卒のエンジニアで、現在はシステム本部データ統括部AI基盤部MLエンジニアリング第一グループに所属して、MLOpsを行っています。 まずMLOpsって何？というところから入っていきたいと思いますが、MLOpsはDevOpsとAIの概念が組み合わさってできた比較的新しい概念で、特にAI周りのサポートをすることに特化したものになっています。昨今
第13回 MLOps 勉強会(Online) ~迅速なニュース速報発信を支えるMLOps~ - 資料一覧 - connpass
「第13回 MLOps 勉強会(Online) ~迅速なニュース速報発信を支えるMLOps~」の資料一覧です。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Flink® — Stateful Computations over Data Streams
Merpay & Mercoin Tech Fest 2023 Day2 (8/23): Backend and Data & modeling
GitHub - GoogleCloudPlatform/ai-infra-cluster-provisioning
Building MLOps Pipeline for Time Series Prediction [Tutorial]![Building MLOps Pipeline for Time Series Prediction [Tutorial]](https://cdn-ak-scissors.b.st-hatena.com/image/square/3fcda92df1d03951f1bc1b8d51b9b62d6b4c6e29/height=288;version=1;width=512/https%3A%2F%2Fneptune.ai%2Fwp-content%2Fuploads%2F2022%2F08%2Fblog_feature_image_006366_8_4_3_9.jpg)
GitHub - ohke/how-to-construct-mlops-with-amazon-sagemaker: Amazon SageMaker で MLOps (前処理・学習・評価・推論、および、実験・モデル・ワークフローの管理) を実現するミニマムなコードサンプル
JX通信社における実践的MLOps