CyberAgent AI事業本部2024年度MLOps研修基礎編 / MLOps Basic
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
AWSのMLOpsホワイトペーパー「MLOps: Continuous Delivery for Machine Learning on AWS」一部要点まとめ - 肉球でキーボード
MLOps: Continuous Delivery for Machine Learning on AWS AWSが2020年12月に公開した、AWSでMLOpsを実践するためのホワイトペーパーです。 MLOps: Continuous Delivery for Machine Learning on AWS 機械学習システムを運用するための要素、MLOpsと関連するAWSサービス機能の説明が書かれています。 前半のIntroductionの章はMLOps全般に関わる概念的な内容です。 Alteryx・Dataiku・Domino Data Lab・KNIMEの章はツール紹介に近い内容となっているため、本記事では割愛しています。 要点まとめ AWSが2020年12月に公開した、AWSでMLOpsを実践するためのホワイトペーパー 機械学習モデルを本番運用する際の手順・要素を説明 MLOps
GGUF, the long way around
Feb 28 2024 Table of Contents How We Use LLM ArtifactsWhat is a machine learning modelStarting with a simple modelWriting the model codeInstantiating the model objectSerializing our objectsWhat is a fileHow does PyTorch write objects to files?How Pickle worksFrom pickle to safetensorsHow safetensors worksCheckpoint filesGGMLFinally, GGUFConclusionHow We Use LLM ArtifactsLarge language models today
Feature Storeについて考える：（中小企業にとっての）意義は何なのか？
はじめに 皆さんの組織では、Feature Storeを使っているでしょうか。 AIや機械学習をしていると、MLOPsとセットでFeature Storeについて様々なメリットを謳う記事を見るのですが、データサイエンティストをしている知人に聞いても、実はあまり使っていない・導入を考えたけど止めたという人が多いように思います。（私の周りだけかもしれませんが） よく、Feature Storeのメリットとして「特徴量を共有できる」ということが挙げられるのですが、大企業でデータサイエンティストが多数いる環境であればまだしも、中小企業やベンチャー企業にとっては、データサイエンティストの数が限られている（または1人しかいない）ので、そこまでそのメリットが見えないことが、導入につながっていない要因かもしれません。 しかし、実際に試してみると、それ以上のメリットがあるのではと思えてきました。 そこで、改
CI/CD for Machine Learning in 2024: Best Practices & Tips | Qwak
CI/CD for Machine Learning in 2024: Best Practices to Build, Train, and Deploy Explore best practices for CI/CD in Machine Learning in 2024. Learn to build, train, and deploy ML models efficiently with expert strategies. Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Le
データ品質をコード化！AIプラットフォームのデータ品質管理システム
こんにちは。AIプラットフォーム部でMLOpsエンジニアやプロダクトオーナーを担当している古川新です。 この記事では、AIプラットフォームで提供しているデータ品質管理システム「ACP Data Quality」と、その中核機能であるデータ品質モデル言語「DQML」によるデータ品質管理の取り組みについてご紹介します。 データ品質管理システム「ACP Data Quality」 AIプラットフォームでは、「ACP Data Quality」というデータ品質管理システムを提供しています。「ACP」と呼ばれるAIに特化したKubernetes環境で提供されており、利用者はWeb UIまたはKubernetesカスタムリソースを通じて、データ品質管理プロセスを実行できます。 データ品質管理とは データ品質とは、「データが目的にどのくらい適しているかの度合い」のことです。 国際標準の規格では、以下のよ
MLOpsの意義：機械学習プロジェクトを成功させるための鍵 - Qiita
はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps（Machine Learning Operations）という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習（ML）は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダクトに組み込まれ、価値を発揮し続けるためには、様々な工程を繰り返し経る必要があります。（参考: ITコンサル企業のAIチームでMLOpsをすることの面白みと今後の展望） そこで発生する課題に対応するためには、従来のソフトウェア開発手法とは異なる、新たなアプロー
オンライン実験を速く試すための基盤構築 - Gunosy Tech Blog
こんにちは。データサイエンス部の石川です。 この記事は Gunosy Advent Calendar 2023 の 7 日目の記事です。昨日の記事は johnmanjiro さんの『tokio ベースの Rust 向け fluentd クライアントを作りました』でした。 先日、オンライン実験を速く試すための基盤を構築し、実際に A/B テストを開始しました。この記事では初めに弊社独自の A/B 管理基盤やサービス間の依存関係に由来する課題を整理したうえで、どのような解決策を実装したかについて紹介します。 背景 広告関連サービスの概要と依存関係 施策の検証への要求 課題 解決策 ユーザーリスト・広告リストの詳細 まとめ 背景 はじめに広告関連のサービスの概要と、それぞれのサービスの依存関係について説明します。 次に、施策の検証において求められていることについて整理します。 広告関連サービスの
DynalystのML監視の取り組み事例 | CyberAgent Developers Blog
ML監視は従来のソフトウェア開発の監視要素に加え、モデルや予測値、データに関する監視が必要とされています。 監視の優先順位 上述のようにML監視項目は数多くあり、いきなり全ての監視項目を導入するのは難しいです。 クラウドベンダー各社のMLOpsの成熟度モデル [3]のように、ML監視も段階的に取り組んでいくことが望ましいと言えます。 A Comprehensive Guide on How to Monitor Your Models in Productionの記事ではGoogleのMLOps成熟度モデルに合わせた監視項目を取り上げています。 引用: A Comprehensive Guide on How to Monitor Your Models in Production [4] EVIDENTLY AIが公開してるMonitoring ML systems in product
Machine learning systems design
Design a machine learning system Designing a machine learning system is an iterative process. There are generally four main components of the process: project setup, data pipeline, modeling (selecting, training, and debugging your model), and serving (testing, deploying, maintaining). The output from one step might be used to update the previous steps. Some scenarios: After examining the available
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
データ品質をコード化！ LINEヤフーのMLOpsを最適化する "ACP Data Quality" の紹介
Lets start mlops
GitHub - ricosjp/dagstream: DagStream is the Python package in order to manage relationship between functions, especially for data-preprocessing functions for machine learning applications.
WantedlyでFeature Storeを導入する際に考えたこと
Netflix の事例から RecSysOps を学ぶ
機械学習プラットフォームAIPFの成長の軌跡 #private_cloud_meetup | ドクセル
GOのAI技術まとめ - ETA編 | MoT Lab (GO Inc. Engineering Blog)
ML Pipeline Architecture Design Patterns (With Examples)
GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers
