機械学習のモデル学習とデプロイのプロセスを自動化すべく、Azure Machine Learning のコマンドライン機能 Azure Machine Learning CLI で実装する方法をご紹介します。 Azure Machine Learning CLI は Azure CLI の拡張機能です。Azure Machine Learning の様々な機能を実行することができます。Azure Machine Learning は GUI である Azure Machine Learning studio、Python SDK、R SDK のインタフェースに加えて、今回取り上げる Azure CLI もサポートしています。 Azure CLI は、MLOps などでの自動化プロセスを実装するときに重宝されると思います。 事前準備 コード GitHub にサンプルコードを公開しました。 k
はじめに こんにちは。High Linkのデータエンジニアの芦川 (@hirorororo772) です。 私たちが運営する香水サブスクサービス「カラリア」では、「香水診断」、「レコメンド機能」、「フレグランスプロフィール」など、データを活用したさまざまな機能を提供しています。 こういった機能を提供するためには、ロジックの開発だけでなく、安定的に提供するための基盤や開発を加速させるためのCI/CD基盤やデータパイプラインの構築（MLOps）が重要になってきます。 今回は、カラリアにおけるデータを活用した機能の裏側についてご紹介したいと思います。 スタートアップである私たちは、小さくはじめてスピードは保ちつつ、中長期的に開発スピードや運用コストにレバレッジを効かせられるよう意識してきました。 設計面で考慮したポイントや、実際に運用してみた所感なども併せてご紹介いたしますので、これからミニマム
Unleashing ML Innovation at Spotify with Ray - Spotify Engineering
February 1, 2023 Published by Divita Vohra, Sr. Product Manager, Keshi Dai, Sr. ML Engineer, David Xia, Sr. ML Engineer, & Praveen Ravichandran, Staff Research Scientist As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of pers
OptunaとKubeflow Pipelinesを用いた並列ハイパーパラメータチューニング | MoT Lab (GO Inc. Engineering Blog)
はじめに こんにちは。AI技術開発部 MLエンジニアリング第1グループの築山です。 以前、社内でOptunaとKubeflow Pipelines（以下KFP）を用いて並列ハイパーパラメータチューニングを行い、とあるプロダクト（後述する『お客様探索ナビ』の経路推薦システム）のパラメータに適用する機会がありました。 その際は社内向け勉強会のためにスライドをまとめ、以下のツイートとともにSlideShareで公開しており、多少の反響もいただいていました。 https://twitter.com/2kyym/status/1256147262738018304?s=20 そのスライドがOptunaの開発者の方の目に留まり、「テックブログを書いて欲しい」と打診をいただき、今回執筆している次第です。 公開済みスライドと被る部分もありますが、基本的には 今回のユースケースOptunaとKFPの紹介・チ
Unbundling Data Science Workflows with Metaflow and AWS Step Functions
by David Berg, Ravi Kiran Chirravuri, Romain Cledat, Jason Ge, Savin Goyal, Ferras Hamad, Ville Tuulos tl;dr Today, we are releasing a new job scheduler integration with AWS Step Functions. This integration allows the users of Metaflow to schedule their production workflows using a highly available, scalable, maintenance-free service, without any changes in their existing Metaflow code. The idea o
はじめに 開発プロセスにおける定型的な作業を自動化することは、DevOpsを実現するための一つの要素と言えます。機械学習においても同様に、前処理や学習などといった一連の処理工程をワークフローとして自動化することは、MLOpsの実現する上で重要です。 本記事では実際にMLワークフローを構築しますが、特に以下の項目を意識します。 サーバーレス 汎用なサービスを組み合わせたシンプルな構成 サーバーレスとは、インフラの管理を意識することなくサービスを利用できるという性質のことです[1]。必要なタイミングだけ計算リソースを利用することで、コストを抑えることができます。また今回利用するVertex AIのカスタムジョブでは、メモリやGPUなどを細かく設定できるため、実施する処理に応じて柔軟に計算リソースを利用することができます。 汎用なサービスを組み合わせて用いることは、技術導入のハードルを下げること
MLOps - Practices
MLOpsに対して， 各社が取り組んでいる内容や知見を集めたものになります． 各社のテックブログや登壇での発表資料を中心に 「Knowledge」 に整理しています． また， 個人ブログでの発信内容については， サービスやプロダクトの 「Tips」 として別で整理する予定です． 連絡先はこちらになります → , & . Projects Knowledge: MLOpsに対する各社の取り組みを整理したリンク集 Tips: MLOpsに関連したサービスやプロダクトに関するTips Update Information 2022-06-26: 「Guides」に関して「Amazon SageMakerでつくるMLOps」の事例を，「All in one」に関して「KARTEにおけるMLOpsの変遷」の事例をそれぞれ1件追加 2022-06-18: 「パイプライン」に関して「スタンバイ」の事例を
はじめに 大規模言語モデル、LLM が大流行です。猫も杓子も LLM で、LLM および OpenAI にかなり入れ込んでいた Microsoft の勢いを見て Google が社内に保有していた LLM をサービスとして投入しようとしていたり、AWS が参入表明したり、大規模なテキストデータを擁する Twitter を手中に収めたイーロン・マスクが参入を表明したりと、提供者側プレイヤーはその数も面子もなかなかインパクトがあります。OSS の LLM も「数日おきに何か発表があるなぁ」という感じで日に日に増加しており、商用利用を見据えた使いやすいライセンスの下に開発された LLM も随分と増えてきました。使用者側の面子を見ても、個人ユーザーやベンチャー企業、その他一般企業はもとより、従来この手の新進気鋭のサービス導入がなかなか進まないイメージがあった大手金融機関や官公庁に至るまでかなり深く
MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード
Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド
GitHub - EthicalML/awesome-artificial-intelligence-guidelines: This repository aims to map the ecosystem of artificial intelligence guidelines, principles, codes of ethics, standards, regulation and beyond.
AI & Machine Learning 8 principles for Responsible ML - The Institute for Ethical AI & Machine Learning has put together 8 principles for responsible machine learning that are to be adopted by individuals and delivery teams designing, building and operating machine learning systems. An Evaluation of Guidelines - The Ethics of Ethics - A research paper that analyses multiple Ethics principles Assoc
There is nothing magic about magic. The magician merely understands something simple which doesn’t appear to be simple or natural to the untrained audience. Once you learn how to hold a card while making your hand look empty, you only need practice before you, too, can “do magic.” – Jeffrey Friedl in the book Mastering Regular Expressions Note: Please raise an issue for any suggestions, correction
この記事でやること ワークフローエンジンであるAirflowの使い方のポイントを書きます 私はGCPのCloud Composerで使っています ※ワークフローエンジンについては以前こちらに書きました https://qiita.com/elyunim26/items/15db924e4c9833e5050a MWAA来ましたね ちょうど、AWSのフルマネージドAirflow(MWAA)も来ましたね 使い始めるかたもいらっしゃるのではないでしょうか https://dev.classmethod.jp/articles/amazon-managed-workflows-for-apache-airflow-mwaa-ga/ AWS MWAAの利用料としてはGCPのCloud Composerと似たようなレンジで400-600$/月くらいはかかってしまいそうです https://aws.am
Merpay Advent Calendar 2020 の12日目は、メルペイで MLOps を担当している ML Platform チームの Mai Nakagawa がお送りします。 今回は、機械学習の実験を効率よく実行・管理するために Polyaxon という OSS のツールを導入した話をします。 Polyaxon 導入前の課題 Polyaxon について言及する前に、まずは Polyaxon 導入前に抱えていた課題について話します。それは機械学習の実験フェーズが属人化してしまっていたことです。下の図のように機械学習のワークフローを大きく実験フェーズ（Experiment Phase)、本番環境に機械学習モデルをデプロイするフェーズ（Productionize Phase）、本番環境で機械学習モデルを運用フェーズ（Operating Phase）の3フェーズに分けると、Produc
Netflixから機械学習ワークフロー管理用のPythonライブラリ，Metaflowがリリースされました。 これを使うと， データ処理・モデル構築プロセスを統一フォーマットで記述でき，全体のフローを追いやすい モデル・前処理工程のバージョン管理ができる AWS環境上での分散処理が可能 といったメリットがあります。 気になる人は，tutorialを動かしつつ公式ドキュメントに目を通してみましょう。 Tutorialについては，pip install metaflowでライブラリを入れた後， とするだけで一式揃いますので，気軽に試すことができます。 本記事では，ざっくりとした機能概要と使い方をまとめていきたいと思います。 ライブラリ概要 Metaflowでは，データ処理や機械学習モデル構築・予測のワークフローをPythonのクラスとして定義し，コマンドラインから実行します。 その際実行の都度
こんにちは、GMOアドマーケティングのS.Rです。 前回は機械学習開発の標準戦略MLOpsを皆さんへ紹介しました。 今日はKubeflowを実践する為にGoogle Cloud のMLOps サービスAI platform pipelines で 簡単に手書き数字の分類システム（MNIST）を開発する例を紹介させていただきます。 ※なお、この記事中の図示は、特に断りが無い限り筆者が作成したものです。 AI platform pipelinesとは AI platform pipelinesはGoogle Cloudが提供している、機械学習開発の標準戦略MLOpsを自動化するクラウドサービスです。 AI platform pipelinesとKubeflow AI platform pipelinesはKubeflowに基づいて開発されたクラウドサービスです。AI Platformを利用する
MLOps aims to unify ML system development | Google Cloud Blog
Craig WileyDirector of Product Management, Cloud AI and Industry Solutions AI-driven organizations are using data and machine learning to solve their hardest problems and are reaping the rewards. “Companies that fully absorb AI in their value-producing workflows by 2025 will dominate the 2030 world economy with +120% cash flow growth,”1 according to McKinsey Global Institute. But it’s not easy rig
大変動下での機械学習モデルへの対処
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
Organizations rely on machine learning engineers (MLEs) to operationalize ML, i.e., deploy and maintain ML pipelines in production. The process of operationalizing ML, or MLOps, consists of a continual loop of (i) data collection and labeling, (ii) experimentation to improve ML performance, (iii) evaluation throughout a multi-staged deployment process, and (iv) monitoring of performance drops in p
こんにちは、CADDi AI Lab MLEの志水です．8/19に10X,M3の両社と検索運用勉強会[#Search_C10Xm3]を開催いたしました． AI Labでは図面管理SaaS CADDi DRAWERの検索サービスを開発／運用してきており、その経験から OpenSearchで実現する画像検索とテスト追加で目指す安定運用についてお話ししました．
TFXの歴史を振り返りつつ機械学習エンジニアリングを提案する論文「Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)」
TFXの歴史を振り返りつつ機械学習エンジニアリングを提案する論文「Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)」 2021-01-17 この記事はMLOps Advent Calendar 2020の 25 日目の記事です。(盛大に遅れました) KDD2019 の招待講演で Google が TFX の歴史について発表されており、TFX 信者の自分としては発表内容が以前から気になっていたが、公開はされておらずなんとかして見れないかな~と思っていましたが、TensorFlow の Blogで該当の招待講演が論文化されたことを知ったのでメモがてら抄訳として残しておく。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a transla
ミニマルな機械学習の実験管理を目指して
(追記 (2021/12/30): ここで述べた方法を実践するための Python パッケージ luigiflow を公開しました。) (この記事は私が書いた英語版の記事 Toward the minimalism of machine learning experiment workflows を私自身が翻訳したものです。 元記事の作成にあたり友人の Sajjadur Rahman と Sara Evensen にフィードバックをいただいたことを感謝します。) 本記事は、ストックマーク Advent Calendar 2021 の 15 日目の記事です。 機械学習分野の研究者やエンジニアの多くにとって実験は業務の大きなコストを占めます。 そのため実験環境の構築が業務のパフォーマンスに直結することは言うまでもありません。 それと関連して近年 MLOps への注目が非常に高まっていますが、
この記事はMLOps Advent Calendar 2021の18日目の記事です。 2016年にもTensorFlowとMLサービスの2016年の布教活動報告を書きましたが、ここ3年くらいはMLOps系の活動をメインにしてきたので、その報告です。COVID後はイベント登壇も減り、ブログ記事の執筆が多くなりました。その裏話的な内容です。 Feature Store のブログ記事 今年5月のGoogle I/OでVertex AIのMLOps系プロダクトがいくつかリリースされたので、その後にフォローアップのブログ記事を出し始めました。まずは6月にPMのAnandと書いた Kickstart your organization’s ML application development flywheel with the Vertex Feature Store（日本語版）です。 このプロダクト
はじめにはじめまして、Strategic AI Group(以降SAIG)に在籍しています、2019年度入社の真鍋です。学生の頃よりクラウドやHadoop等、大規模分散システムの研究をしていました。その経験と私自身の希望もあり、SAIGでは主にインフラ担当として業務に取り組んでいます。 今回は私がAI分野のインフラに触れ、MLOpsを知り、SAIG全体で利用する学習基盤を構築するまでに得た知見を、一部ではありますが共有させていただければと思い筆を取りました。MLOpsについて興味を持たれていて、具体的な取り組みについて知りたいといった方に読んでいただければ幸いです。 概要本稿は下記の内容で構成しています。 MLOpsとは SAIGの課題 施策1：実験管理についての取り組み 施策2：SAIG学習基盤の構築 まとめと今後の展望 1. MLOpsとは私がアサインされたSAIGは、フューチャーの一
Do you actually need a vector database? | Ethan Rosenthal
Spoiler alert: the answer is maybe! Although, my inclusion of the word “actually” betrays my bias. Vector databases are having their day right now. Three different vector DB companies have raised money on valuations up to $700 million (paywall link). Surprisingly, their rise in popularity is not for their “original” purpose in recommendation systems, but rather as an auxillary tool for Large Langu
The Rise (and Lessons Learned) of ML Models to Personalize Content on Home (Part I) - Spotify Engineering
The Rise (and Lessons Learned) of ML Models to Personalize Content on Home (Part I) At Spotify, our goal is to connect listeners with creators, and one way we do that is by recommending quality music and podcasts on the Home page. In this two-part blog series, we will talk about the ML models we build and use to recommend diverse and fulfilling content to our listeners, and the lessons we’ve learn
みなさんはじめまして。CADDiで図面解析チームのテックリードをしている稲葉です。今日は、我々のチームがどういった図面解析の機械学習モデルをどのように開発しているのか、それをどのように改善しようとしているかを紹介したいと思います。 目次 どういう図面解析が必要なのか CADDiの機械学習モデル開発の流れ 継続的な機械学習モデルの改善に向けて おわりに どういう図面解析が必要なのか CADDiでは図面活用SaaSであるCADDi DRAWERを提供しています（DRAWERの詳細に関してはこちら）。図面はどういうものが作りたいかを示した設計図なわけですが、PNG画像やPDFなど2次元図面画像で保管されており、構造化されていないデータである事が多いです。作りたいものが何を素材としているか、どのように加工すべきかなどが画像になっているため、人の目では分かってもコンピュータ上では管理し易い状態になっ
Applied-ML Papers
Curated papers, articles, and blogs on machine learning in production. Designing your ML system? Learn how other organizations did it. Star Table of Contents Data QualityData EngineeringData DiscoveryFeature StoresClassificationRegressionForecastingRecommendationSearch & RankingEmbeddingsNatural Language ProcessingSequence ModellingComputer VisionReinforcement LearningAnomaly DetectionGraphOptimiz
▼ 更新情報 ・Azure Machine Learning 新機能サポート ・Managed Feature Store ・Registry etc... ・パイプラインジョブのデバッグ ・環境分離と計算リソース共有 ・LLMOps ▼ Prompt flowの動画 https://www.youtube.com/watch?v=DaIYrlMOj7I ▼こちらのMLOps資料のv1.2版となります。 https://speakerdeck.com/shisyu_gaku/step-by-step-mlops-and-microsoft-products 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。
Amazon EKSでKubeflowを立ち上げてJupyter Notebookを触るまでの道のり -Kubeflow v1.0.1 Released-
COVID-19でリモートワークが推奨されているため自宅にこもりがちです。self-isolateするだけでなくself-studyに最適な時機なのではないでしょうか。そんなわけで以前より興味のあったKubeflowをEKSのKubernetesクラスタ上に設置して簡単なJupyter Notebookを作るテストを行ってみました。KubeflowはKubernetes上で機械学習のモデル開発やエンドポイントのデプロイをサポートするオープンソースのシステムです。データサイエンスの職能領域は主にビジネス寄りとされるデータサイエンティストとエンジニア寄りの機械学習エンジニアに枝分かれして語られます。機械学習エンジニア領域ではMLOpsの興隆と共に実際に構築したモデルを運用しテストおよび改善していく必要性が以前にも増して高まってきているようです。Amazon Sagemakerのようなマネージド
MLOps のはじめかた
第30回 MLOps 勉強会の発表資料です。Money Forward でのこれまでの取り組みについて、振り返った内容を共有します。
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。（どっちもちょっとしたことですが） ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること（それらをノードとしてパイプラインでつないでいる） パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高
オライリーから「仕事ではじめる機械学習 第2版」を出版しました | Democratizing Data
Table of Contents4/23に「仕事ではじめる機械学習 第2版」をtokorotenさんとhagino3000さんとともに出版しました。 電子版は、Kindleでは購入できない 1 のでぜひオライリー・ジャパンのサイトからDRMフリーのPDF、EPUBをご購入ください。 コードは今回はGitHubとGoogle Colaboratoryにあります。詳しくは、GitHubのレポジトリをご覧ください。 https://github.com/oreilly-japan/ml-at-work なお、第一版のコードは1st-editionタグにあります。 同人誌や初版のEbookが出た2017年から4年の歳月を経て、この度改訂版を出すこととなりました。 皆さまのおかげでAmazonの書籍ランキングでも、予約のタイミングなのに10位になったこともあったそうです。ありがたい限りです。 [2
Introducing Flyte: Cloud Native Machine Learning and Data Processing Platform
Today Lyft is excited to announce the open sourcing of Flyte, a structured programming and distributed processing platform for highly concurrent, scalable, and maintainable workflows. Flyte has been serving production model training and data processing at Lyft for over three years now, becoming the de-facto platform for teams like Pricing, Locations, Estimated Time of Arrivals (ETA), Mapping, Self
The infinitely scalable and flexible workflow orchestration platform that seamlessly unifies data, ML and analytics stacks.
機械学習とパイプライン エンジニアの皆さんは、「パイプライン」といえば何を思い浮かべるでしょうか？ 恐らく多くの人は、 ①最近ハッキングされたことで話題の、石油輸送管 ②基本情報試験などで頻出の、CPUの並行命令実行の仕組み を思い浮かべるかと思います。 ※画像はWikipediaより 機械学習分野でも、Scikit-LearnやMLOps系のツールにおいて頻出する用語であり、 何となく、「複数の処理を連続で行う仕組み」といったイメージを持たれている方が多いかと思います。 ですが、連続処理なら各処理を順番に実装すれば同様の機能を実現できるため、正直 「メリットがよく分からん！」 と思われている方も多いかと思います。 私もそう思っていましたが、調べてみると、場面によっては必要不可欠と言えるようなメリットがある事が分かったので、 記事にまとめようと思います パイプラインとは？ パイプラインの概
Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング
プラットフォームの動作デモを25:59から行っていますので、動画でご覧ください。 トレーニングワークフローのサポートでは、次のようなソフトウェア・ライブラリが使われています。 ユーザーがKubeflow pipelineを作成 ローカルまたはCircle CI経由でデプロイ チームのGCPプロジェクトからDockerイメージなどを取得 トレーニングの結果をSlackで通知 トレーニング終了後、モデルのパラメーターと精度をmlflowに格納 モデルをチームのGCPプロジェクトにプッシュ 結果が悪い場合には再トレーニング MLプラットフォームの特徴 メルカリのMLプラットフォームは次のような特徴を持っています。 プロファイルは独立し、ユーザーは自分の作業しているプロジェクトのデータのみにアクセス可能 CPU/GPU/TPUなどのリソースはオンデマンドに提供 PrometheusとGrafana
ツールの紹介Great Expectations概要Great Expectationsは、ユーザー独自のデータ品質テストの作成、テストの実行、テスト結果の可視化を可能とするOSS Pythonライブラリです。用意されているテストが豊富でデータの品質チェックに特化していることが特徴です（用意されているテスト一覧）。 監視できる項目例 Input Metrics 欠損値、各値が範囲内か、columnの増減、統計値が範囲内か、データドリフト/スキュー、外れ値など 詳細データの品質テスト（テストのことをexpectation）、エラーの文章化（html形式でどのテストをパスし、どのテストでエラーを起こしたかが見れる）、プロファイリング（統計量の計算）が可能となっています。 ※Great Expectations 公式Docsより画像引用 懸念点としては、モデル精度の監視や特徴量寄与率などのOut
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コマンドラインでの機械学習 (AzureML + GitHub Actions)
カラリアのデータ基盤と機械学習基盤 - 小さく始めるMLOps - High Link テックブログ
WorkflowsとVertex AIカスタムジョブによるお手軽MLワークフロー
LLMOps を考え始める - ShuntaIto Tech Blog
GitHub - graviraja/MLOps-Basics
Airflowの使い勝手と他のワークフローエンジンの紹介(2020年) - Qiita
Polyaxon を機械学習の実験プラットフォームとして導入した話 | メルカリエンジニアリング
Netflix開発のMLワークフローツール，Metaflowを試してみた【概要編】 - Qiita
GCP:AI platform pipelinesで MLOpsを実践した
Operationalizing Machine Learning: An Interview Study
OpenSearchで実現する画像検索とテスト追加で目指す安定運用
MLOps系プロダクトの布教活動報告 - Qiita
MLOpsことはじめ ～実験管理導入と学習基盤の構築～ | フューチャー技術ブログ
CADDiの機械学習モデル開発の流れと継続的な改善 - CADDi Tech Blog
Step-by-step MLOps v1.2
大規模・複雑な機械学習プロダクトの継続的な改善を支える実験プラットフォーム
Kedroで機械学習パイプラインに入門する - Qiita
Build production-grade data and ML workflows, hassle-free with Flyte
機械学習で「メリットが分かりづらい」と思われがちなパイプラインを分かりやすく解説 - Qiita
https://pages.awscloud.com/rs/112-TZM-766/images/20201015_AWS%E3%81%A6%E3%82%99%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8BMLOps%E5%9F%BA%E7%9B%A4_%E9%85%8D%E5%B8%83%E7%89%88__AIMLTokyo7.pdf
MLシステムにおけるモデル・データの監視【概要編】 | フューチャー技術ブログ
MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より
momoka.dt.weblog.vc
www.iza.ne.jp
www.4gamer.net
b.hatena.ne.jp
gravure-grazie.com
jp.news.gree.net