WandBで始める実験管理 - MLOpsからLLMOpsまで：ワンドビー完全理解者の会
機械学習の実験管理を中心にOpenAIやStability AIなどの生成AI企業、さらにはKaggleやアカデミアなどでもよく使われているWeights & Biases (WandB)についてユーザーコミュニティで基礎から応用機能、実務やKaggleでの実用例まで集約した本を作成しました。一度使い始めるともう離れられないこの最高に心地良いML体験を世界中のMLエンジニアと分かち合いたいです。 山本 祐也、シバタ アキラ、鎌田 啓輔、 西山 洋人、井上 顧基、田邊 祐馬 著 第1章 イントロダクション 1.1 MLOpsを再考する必要性 1.2 Weights&Biasesとは? 第2章 WandB 入門 2.1 Experiments(実験管理) 2.2 Artifacts(アーティファクト) 2.3 Tables(テーブル) 2.4 Reports(レポート) 第3章 WandB の
LLM開発のフロー | フューチャー技術ブログ
はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている板野・平野です。 今回は、昨今注目されている大規模言語モデル(LLM)の開発においてMLOpsチームがやるべきことを考えるため、まずはLLM開発の流れを調査・整理しました。 本記事はその内容を「LLM開発のフロー」という題目でまとめたものです。LLMを本番運用するときに考慮すべきこと、LLM開発・運用を支援するサービスやツール・LLMシステムの構成例などについては、「LLM開発でMLOpsチームがやるべきこと」と題して別記事でご紹介していますので、ぜひ併せてご覧ください。 ここでのLLM開発とは、「LLM自体の開発」および「LLMを活用したシステム開発」の両方を含みます。また、「LLM自体の開発」は学習フェーズ、「LLMを活用したシステム開発」は推論フェーズ、として記載しています。 本記事ではLLM開発における各フェーズの
サイバーエージェント、AI開発手法「MLOps」の研修資料を無償公開 全140ページ
サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開 「Git」と「テスト・設計」 今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開 Unityエンジニア向けに サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3
Step-by-Step MLOps and Microsoft Products
▼こちらのMLOps資料のv1.1版となります。 https://speakerdeck.com/shisyu_gaku/external-20220202-kurasukai-cui-azure-machine-learningwozhong-xin-tositamsfalsemlopssoriyusiyonfalsegai-yao-toakitekutiya 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。 ▼更新情報 ・2022年5月末(主にMSBuild)にて 一般提供(GA)を開始した Azure ML v2 ベースの実装・機能紹介スライドへの変更 ・トラフィックのミラーリングなど新しい Azure M
MLOps論文 Machine Learning Operations (MLOps): Overview, Definition, and Architecture の要点まとめ - 肉球でキーボード
MLOpsを体系的にまとめた論文「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」を読んだので、要点をまとめました。 元論文：https://arxiv.org/abs/2205.02302 TL;DR 「MLOpsって何？」に答えた論文 MLOpsに関わる文献調査・ツール調査・専門家インタビューを行った MLOpsに必要な原理・要素・ロール・アーキテクチャをまとめた MLOpsの言葉の意味を定義した MLOpsの課題をまとめた 本文要点 0 Abstract MLOpsは今だに漠然とした言葉であり、研究者と専門家間でMLOpsの定義が曖昧となっている。 本論文では文献調査・ツール調査・専門家へのインタビューを行い、MLOpsを調査した。 調査から以下の結果を体系的にまとめた MLOps
Machine Learning Operations (MLOps): Overview, Definition, and Architecture
The final goal of all industrial machine learning (ML) projects is to develop ML products and rapidly bring them into production. However, it is highly challenging to automate and operationalize ML products and thus many ML endeavors fail to deliver on their expectations. The paradigm of Machine Learning Operations (MLOps) addresses this issue. MLOps includes several aspects, such as best practice
GitHub - Minyus/pipelinex: PipelineX: Python package to build ML pipelines for experimentation with Kedro, MLflow, and more
PipelineX is a Python package to build ML pipelines for experimentation with Kedro, MLflow, and more PipelineX provides the following options which can be used independently or together. HatchDict: Python in YAML/JSON HatchDict is a Python dict parser that enables you to include Python objects in YAML/JSON files. Note: HatchDict can be used with or without Kedro. Flex-Kedro: Kedro plugin for flexi
Googleによる機械学習の実応用をテーマにしたCoursera の講義は、機械学習プロジェクトに携わるなら一度は見ておいても損はない
Googleによる機械学習の実応用をテーマにしたCoursera の講義は、機械学習プロジェクトに携わるなら一度は見ておいても損はない 2022-03-17 過去に執筆した記事1を見返していたら そういえば講師陣がめちゃくちゃ良いこと言ってるんだけど記事内に掲載してなかったなと思い、動画を見返すと今でも学びが多かったので、講義のスクリーンショットを見返しつつ筆をとってみた。 今見たら、日本語版の講義 How Google does Machine Learning 日本語版も公開されているので、興味の湧いた方はぜひ受講しましょう。Certificate を発行しないなら無料で受講できると思います。 講義内容の説明は、過去記事1で行っているので気になる方は御覧ください。 機械学習プロジェクトの努力の割当: 期待と現実 ML Surprise https://www.coursera.org/
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AI in Production - Event | MLOps Community
Data Labeling Best Practices - Video | MLOps Community
GOのデータ・AIを活用する「組織」を30分で紹介
伝統企業をAIドリブンに変える方法 専門性は競争力にならない | マルコ・イアンシティ,カリム R. ラカーニ | ["2020年7"]月号｜DIAMOND ハーバード・ビジネス・レビュー![伝統企業をAIドリブンに変える方法 専門性は競争力にならない | マルコ・イアンシティ,カリム R. ラカーニ | ["2020年7"]月号｜DIAMOND ハーバード・ビジネス・レビュー](https://cdn-ak-scissors.b.st-hatena.com/image/square/a9cd65daacde2568608866f05d7788b21b29d905/height=288;version=1;width=512/https%3A%2F%2Fdhbr2.ismcdn.jp%2Fmwimgs%2F0%2F0%2F-%2Fimg_00813c703147f216ecdfc850a5022d8034736.jpg)
GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers
Rubrix documentation
The platform where experts improve AI models
Introduction to MLOps
Level Up Your MLOps Journey with Kedro
Deploying a Recommendation System the Kedro Way
My Thoughts On TFX
Stanford-Final-Deployment for free: removing the need to write model deployment code at Stitch Fix