第35回 MLOps 勉強会:https://mlops.connpass.com/event/297976/ ウォンテッドリーでは、多様なユーザーと会社の理想的なマッチングを実現するために、会社訪問アプリ「Wantedly Visit」の推薦システム開発に力を入れています。今回の発表では、推薦チ…
Phoenix is an open-source AI observability platform designed for experimentation, evaluation, and troubleshooting. It provides: Tracing - Trace your LLM application's runtime using OpenTelemetry-based instrumentation. Evaluation - Leverage LLMs to benchmark your application's performance using response and retrieval evals. Datasets - Create versioned datasets of examples for experimentation, evalu
(2020/08/14 flavorについての記載を一部修正) はじめに こんにちは、ホクソエムサポーターの藤岡です。 最近、MLflowを分析業務で使用しているのですが、お手軽に機械学習のモデルや結果が管理できて重宝しています。 また、特定のライブラリに依存しないなど、使い方の自由度も非常に高いところが魅力的です。 ただ、ザ・分析用のPythonライブラリという感じでとにかく色々なものが隠蔽されており、 サーバにつなぐクライアントさえもプログラマあまりは意識する必要がないという徹底っぷりです。 もちろんマニュアル通りに使う分には問題ないですが、 ちゃんと中身を知っておくと自由度の高さも相まって色々と応用が効くようになり、 様々なシチュエーションで最適な使い方をすることができるようになります。 というわけで、今回はMLflowの記録部分を担う、 Experiment, Run, Artif
ML-Agents:ハチドリ Unityには、強化学習を構築するためのフレームワークであるML-Agentsがあります。また、Unityの公式なチュートリアル&コースウェアを提供するUnity Learnにおいて、このML-Agentsのチュートリアルを提供する「ML-Agents:ハチドリ」があります。 「ML-Agents:ハチドリ」は、Humming bird (ハチドリ)が蜜を吸うゲームの中で、ハチドリが効率的に蜜を吸うことをゴールとして、強化学習を用いてハチドリをトレーニングするための学習コンテンツです。 この記事は、私が「ML-Agents:ハチドリ」を学習した際に、重要だと考えた事項を備忘用にメモするためのものです。 プロジェクト:①Flower.cs 本プロジェクトでは、個々の花の機能のスクリプトを作成します。ハチドリはこの花と直接やりとりをするので、適切な反応をする必要が
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 1. はじめに 昨今、AI・機械学習関連技術が基礎研究のフェーズを抜け、製品開発のフェーズにて本番稼働システムに投入・運用されることが多くなるに連れて聞くことが多くなった「MLOps」という概念について、簡単に書きます。 本記事ではMLOpsの概要を記載し、実践的な取り組みについては別途記載します。 (追記)アップデート版として MLOpsの意義:機械学習プロジェクトを成功させるための鍵 を投稿したので、そちらも合わせてご確認ください。 2. 機械学習プロジェクトの課題 機械学習プロジェクトを遂行していくことを阻害する課題として、例えば
Practitioners Guide to Machine Learning Operations (MLOps)Gain an overview of the machine learning operations (MLOps) life cycle, processes, and capabilities. Understand concrete details about running a continuous training pipeline, deploying a model, and monitoring predictive performance of ML models. The MLOps life cycle and important processes and capabilities for successful ML-based systemsOrc
こんにちは、技術本部 データシステム部 MLOpsブロックの平田(@TrsNium)です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex
Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの卜部です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年10月15日にオンラインで開催された AWS AI/ML@Tokyo #7では、AWS ソリューションアーキテクトより、AWSにおけるMLOpsプロセス実装のベストプラクティスや ML CI/CD環境の構築についてお話ししました。また、お客様活用事例として、株式会社コナミデジタルエンタテインメント様、ヤフー株式会社様 におけるAmazon SageMakerの事例をお話しいただきました。 「AWS で構築する MLOps 基盤」
MLOps(機械学習の実運用化)の活動目的&方針を「デザイン思考」で議論した座談会の内容をレポート。デザイン思考フレームワーク&ツール「MURAL」を紹介し、MLOps実践時の悩みと対策案を議論。世の中が抱えているMLOpsの課題を解決するためにコミュニティーの方針を検討する。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps(機械学習の実運用化)の普及に貢献していきます。 このレポートでは、2020年9月に行われた第2回のイベント活動である「MLOpsコミュニティ座談会」の様子をお伝えします。今回はコミュニティーの方針を少人数で議論するため参加者を16人に限定し、リモートで実施
はじめにAI組織をゼロから作り、拡大していく時のことを書く。 私自身がAI組織を立ち上げるにあたって、各社のAI組織の部長クラスやCTO、VPoEに20名以上にヒアリングした結果、そして私がここ1年強でした実体験を元にしている。 全ての場合で必ずしも正しいものではないかも知れないが、今後のために言語化しておく。 重要な3つのことあなたが「AI組織作ってよ」と言われた時、そして組織開拓を進めている時に絶対に必要な事が3つある。これから起こる事全ての事象で、この前提を頭に置いておかないといけない。 AI分野外の人は分野内の事は分からない 組織やグループのミッションに沿う事が必須 コミュニケーションを避けてはいけない これは私の経験的にもそうだし、あらゆるAI組織のリーダーが組織作りで最も多く挙げている重要要素でもある。 AI組織という船の漕ぎ手はあなた大前提、AI分野(機械学習エンジニア、デー
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月18日、機械学習プロジェクトの構築、展開、管理を行うための、データサイエンティストや機械学習エンジニア向けのマネージドプラットフォームである「Vertex AI」の一般提供開始を発表した。この発表が行われたのは、2021年はオンラインで開催されている開発者向けカンファレンス「Google I/O」でのことだ。 Googleは機械学習関連の製品やサービスを数多く提供しており、それらの製品にはAmazon Web Services(AWS)の「SageMaker」をはじめとするプラットフォームと競合するものもあるが、同社は市場に出回っているツールには不十分なものが多いと主張している。 Google CloudのVe
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア(機械学習 & MLOps領域)をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後
※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 これまでのデータ サイエンス分野での大きな問題の一つは、試験運用版段階を通過できないモデルが多数あることでした。データ サイエンス分野が成長を遂げ、成熟するにつれて、プロジェクトの開発速度と再現性を向上させる MLOps プロセスとツールが出現しました。データ サイエンス分野はまだ成長の途上ではありますが、これまで以上に多くのモデルが本番環境にまで到達するようになりました。 これは、自分のモデルが本番環境でどうスケールするかという、データ サイエンティストの次なる疑問へとつながります。本ブログ投稿では、マネージド予測サービスである Google Cloud の AI Platform Prediction を使用して、推論ワークロードのスケーリングに関する問題に対応す
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用
はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す
Great! Let us know what you found helpful. What can we do to improve the content? Submit
オライリー様よりご恵贈いただきました。ML寄りのエンジニアとして継続的なモデルの訓練とデリバリーを伴なうMLシステムの信頼性をどう向上させるのかが気になって読みました。 本書では、ソフトウェアシステムの信頼性と安定性を保つことに優れたアプローチであるSRE(サイトリライアビリティエンジニアリング)の原則を適用し、信頼性が高く、効果的で、責任のある機械学習システムを構築し運用するための方法を紹介します。毛糸を販売している仮想のオンラインストア「yarnit.ai」を例に用いつつ、本番環境でのモデルモニタリングの方法から、製品開発組織で調整されたモデル開発チームを運営する方法まで解説します。 目次 1章 はじめに 2章 データマネジメント 3章 ML モデルの基礎 4章 特徴量と訓練データ 5章 モデルの確実性と品質の評価 6章 公正さ、プライバシー、倫理的なML システム 7章 ML モデル
v1.0 (2024/10/21) LLM と従来 ML との差異 (delta, Δ) に基づく MLOps の修正 伊藤駿汰 (Cloud Solution Architect) 栗田宗平(Cloud Solution Architect) はじめに 大規模言語モデル、LLM が大流行です。猫も杓子も LLM で、LLM および OpenAI にかなり入れ込んでいた Microsoft の勢いを見て Google が社内に保有していた LLM をサービスとして投入しようとしていたり、AWS が参入表明したり、大規模なテキストデータを擁する Twitter を手中に収めたイーロン・マスクが参入を表明したりと、提供者側プレイヤーはその数も面子もなかなかインパクトがあります。OSS の LLM も「数日おきに何か発表があるなぁ」という感じで日に日に増加しており、商用利用を見据えた使いやすいラ
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ
Coauthors: Jeremy Lewi (Google), Josh Bottum (Arrikto), Elvira Dzhuraeva (Cisco), David Aronchick (Microsoft), Amy Unruh (Google), Animesh Singh (IBM), and Ellis Bigelow (Google). On behalf of the entire community, we are proud to announce Kubeflow 1.0, our first major release. Kubeflow was open sourced at Kubecon USA in December 2017, and during the last two years the Kubeflow Project has grown b
MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 今回は、その中でも実験の管理と可視化を司る MLflow Tracking を試してみることにした。 機械学習のプロジェクトでは試行錯誤することが多い。 その際には、パラメータやモデルの構成などを変えながら何度も実験を繰り返すことになる。 すると、回数が増えるごとに使ったパラメータや得られた結果、モデルなどの管理が煩雑になってくる。 MLflow Tracking を使うことで、その煩雑さが軽減できる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.6 BuildVersion: 18G5033 $ python -V Python 3.7.
会計サービスをはじめ、バックオフィス向けクラウドソフトを提供するfreee。単純作業を効率化し、ユーザーが本質的な仕事に集中できる環境を提供するために、AI技術を駆使したさまざまな取り組みがなされている。 「ユーザーにとって本質的に価値があること(同社では「マジ価値」と呼ばれる)を届けきる」をコミットメントとして掲げる同社の、AI技術を使ったアプローチ方法を連載形式でお届けする。 第3回のテーマは、機械学習の開発環境。 機械学習やディープラーニングの自社開発を続けるうえで、その開発環境について考えるべき事項は多い。データ基盤の開発に始まり、分析やモデル開発、運用までスムースにこなせることに加えて、さまざまなアプリケーションやデータベースとの接続といった部分への配慮も欠かせない。 今回はfreeeの機械学習開発・研究を支えるインフラ基盤とその仕組みを同社AIラボの田中浩之氏に紹介いただく。
Monitoring feature attributions: How Google saved one of the largest ML services in trouble An emergency in the largest MLOps at GoogleClaudiu Gruia is a software engineer at Google who works on machine learning (ML) models that recommend content to billions of users daily. In Oct 2019, Claudiu was notified by an alert from a monitoring service. A specific model feature (let us call this feature F
「DeNA TechCon 2021 Winter」は、学生に向けて、DeNAを軸に「エンジニアとして企業で働くこと」について、先輩たちが紹介するイベントです。そこでMLエンジニアの川瀬拓実氏が、DeNAのMLOpsについて話をしました。 DeNAの「MLOps」 川瀬拓実氏(以下、川瀬):こんにちは。川瀬拓実と申します。本セッションでは、DeNAのMLOpsについて話をしていきたいと思います。よろしくお願いします。 まず自己紹介から入りますが、2020年卒のエンジニアで、現在はシステム本部データ統括部AI基盤部MLエンジニアリング第一グループに所属して、MLOpsを行っています。 まずMLOpsって何?というところから入っていきたいと思いますが、MLOpsはDevOpsとAIの概念が組み合わさってできた比較的新しい概念で、特にAI周りのサポートをすることに特化したものになっています。昨今
第3次AIブームと言われて久しく、すでにさまざまな企業が画像認識や音声認識、自然言語処理などを生かしたAIサービスを提供するようになった。 AIを実装する機械学習アルゴリズム、特に深層学習は、従来のルールベースなアルゴリズムより高い精度を出せる場合があるのが利点の一つだ。しかし、内部はブラックボックスになりがちで精度改善が難しい場合や、機械学習モデルに学習させるべきデータが適切に整形されていないこともある。 こうした「AI開発」前後の運用を成功に導く取り組みとして、近年「MLOps」(エムエルオプス)という開発手法に注目が集まり始めている。 特集:MLOpsキホンのキ AIベンダーやノーコード/ローコードでのAIモデル作成ツールなどが増え、以前よりはAIを導入しやすい環境になった。しかし、AI導入の“前後”はおろそかになっていないか。開発体制は迅速に回るか。モデル精度はモニタリングできてい
Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Learning, where models undergo regular retraining with new data and are deployed for serving predictions. In this article, we delve into actionable strategies for designing a robust CI/CD pipeline for Machine Learning. Our
Introduction to Data Validation: MLOps における重要性とその分類、実用上の注意点についてMachineLearningMLOps この記事では MLOps における Data Validation (データバリデーション: データの検証) について概要を述べます。 Data Validation はこれ単体では新しい概念ではありません。たとえば入力フォームで入力値に制約を設け、その制約を満たすデータのみを入力値として受け入れるようにするのは、サービス開発では一般的なことでしょう。入力欄において空欄を許さない、値は特定のリストからのみ選択できるといった制約を設けている例は、開発者でなくても一般的に目にしたことがあるかと思います。 このように Data Validation は一般的な概念ですが、MLOps においては非常に重要な概念となります。また、そこ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く