並び順

ブックマーク数

期間指定

  • から
  • まで

241 - 280 件 / 499件

新着順 人気順

MLopsの検索結果241 - 280 件 / 499件

  • Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリース

    Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリースW&B Fully Connected 2023カンファレンスとAI Expo2023秋にて配布予定 Weights & Biases Japan株式会社(以下、W&B Japan)は本日、大規模言語モデル(LLM)の開発手法にフォーカスするホワイトペーパーの第2弾となる「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」を公開しました。LLM導入を検討している企業向けに、自社の保持するリソースやビジネスモデルに合わせたLLM開発手法を選択するための実践的ガイドとなっており、第1弾の「LLMをゼロからトレーニングするためのベストプラクティス」を補完する形で、既存のLLMモデルを拡張する形で自社用途に適応する手法について解説しています。本ホワイトペーパーの印刷済み冊子

      Weights & BiasesがLLMの開発手法にフォーカスしたホワイトペーパーの第2弾をリリース
    • 1ペタバイトのデータセットで機械学習する / WebDataset入門

      深層学習をする上で、最も大切なマシンスペックを聞かれたら何と答えますか? GPUのTensor性能、VRAM、GPUの数、CPU性能、メモリ、… 問題によって正解は異なりますね。 しかし、特に大規模なデータセットで機械学習する場合では、しばしばネットワーク帯域とストレージシステムのディスクI/Oによって制限されます。この記事ではそのような課題に対して、学習側でどのようにデータを扱うかを見ていきたいと思います。 1. この記事は? こんにちは、TURING MLチームです。TURINGはEnd-to-Endな深層学習モデルでLv5完全自動運転車の開発を目指す会社です。 私たちは自動運転モデルを動かすため、可視域のカメラセンサによる画像で学習し、カメラ映像のみから車体の操作や経路選択、安全性の判断を行わせています。(実際の車を動かす事例はこちらの記事をご覧ください。) そのため、機械学習のため

        1ペタバイトのデータセットで機械学習する / WebDataset入門
      • 機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ

        みなさんこんにちは。機械学習チームのたかぱい(@takapy0210)です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね! というわけで、2021年もコネヒト Advent Calendarが始まります!🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job

          機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ
        • MonotaROのMLOps〜バンディットアルゴリズムの効果を最大化するリアルタイムデータパイプライン〜 - MonotaRO Tech Blog

          はじめに 皆さん、こんにちは。MonotaROTechBlogをご覧いただきありがとうございます。データサイエンスグループ所属の植村です。今回の記事では、MonotaROで取り組んでいるバンディットアルゴリズムを用いた施策を支える、データパイプライン*1を紹介したいと思います。リアルタイムな情報を用いて最適化を行う基盤を提供する方々の参考になれば幸いです。 はじめに 本記事でお伝えしたいこと MonotaROのデータサイエンスチームの環境について MonotaROとバンディット MonotaROにバンディットを導入する際の課題や必要な要件 実際に構築したデータパイプラインの紹介 こぼれ話(負荷テストで驚いたお話) データパイプラインによって変わったこと 終わりに(まとめ) 本記事でお伝えしたいこと MonotaROの推論APIの裏で動くデータパイプラインの紹介。 バンディットをMonota

            MonotaROのMLOps〜バンディットアルゴリズムの効果を最大化するリアルタイムデータパイプライン〜 - MonotaRO Tech Blog
          • AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ

            エムスリー Advent Calendar 2023 五日目担当、AI・機械学習チームの横本(yokomotod)です。前日は同じくAIチーム大垣さん(id:Hi_king)からの「画像を理解するGPT-4 Visionで、既存の画像認識モデルを説明可能にする」でした。 たまたま並んでしまいましたが、昨日のAIチームのMLエンジニアリングな話に続けて、今日はMLOpsやインフラについてのお話です。 (さらに本日はmabl Advent Calendar 2023としてQAチームの城本さん(@yuki_shiro_823)から「mabl Experience'23で「複数チームでmablを活用する際の課題と対応」について話しました 」も公開されています!) どうやらエムスリーAIチームも2017年の発足からもう6年が経過しているようです。 私がチームに参加したのは2019年ごろですが、見てき

              AI・機械学習チーム流MLOpsの歴史 - エムスリーテックブログ
            • MLOps guide

              A collection of materials from introductory to advanced. This is roughly the path I’d follow if I were to start my MLOps journey again. Table of contents ML + engineering fundamentals MLOps …. Overview …. Intermediate …. Advanced Career Case studies Bonus ML + engineering fundamentals While it’s tempting to want to get straight to ChatGPT, it’s important to have a good grasp of machine learning, d

              • How Optimizing MLOps Can Revolutionize Enterprise AI

                InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architect. View an example

                  How Optimizing MLOps Can Revolutionize Enterprise AI
                • カテゴリ類推の機械学習モデルをプロダクションに導入した話 - コネヒト開発者ブログ

                  こんにちは。インフラエンジニアの永井(shanagi)です。 今回は、昨年から取り組んでいる機械学習の分野で、自分の作ったモデルをサービスに本番リリースする機会があったので、PoCで終わりがちな機械学習をプロダクト導入にこぎつけるためにどのようなプロセスを歩んだのかとそこで得た自分なりの知見を中心にご紹介できればと思います。 機械学習のプロダクト導入に向けては歩むステップが非常に多く、個々の詳細な内容について細かく書くと非常にボリューミーな内容になってしまうので、詳細は割愛し機会があればまたどこかでご紹介出来ればと思います。 内容は、ざっくり下記2つに絞りました。 どんな機能をリリースしたのか? 導入までの全体アプローチ ちなみに、なぜインフラ畑の自分が機械学習をやっているのかについては、昨年末に下記ブログにまとめたのでもし興味がある方がいれば読んでみてもらえればと思います。 kobito

                    カテゴリ類推の機械学習モデルをプロダクションに導入した話 - コネヒト開発者ブログ
                  • 画像系機械学習プロダクトで手元のスクリプトとデプロイ環境の精度が違うときのチェックリスト - 生き抜くぜ21世紀

                    はじめに みなさんこんにちは、いかがお過ごしでしょうか。 機械学習もだいぶ広まってきて、右も左も無限に強い人ばかりで、はやく3億円稼いですべてから解放されて虹コン大好きクラブとして生きていきたい今日この頃です。 機械学習がだいぶ広まってくると、機械学習モデルをデプロイする人も増えてきていると思います。 しかし、機械学習モデルのデプロイは非常に複雑です。 モデル、依存ファイル、前処理/後処理、ライブラリ、その他を実験スクリプトと揃えながら、リクエストに対してレスポンスを返すサーバーを継続して稼働させる必要があるためです。 さらには複数人で開発する場合、コードすべてを把握することが難しい、といった困難も付随します。 すると当然、「手元で出ていた精度と、デプロイ環境にリクエストを投げたときの精度が違う」といったバグが生じます。 本日は、そんなときにバグ原因を見つける方針を記事にしたいと思います。

                      画像系機械学習プロダクトで手元のスクリプトとデプロイ環境の精度が違うときのチェックリスト - 生き抜くぜ21世紀
                    • Evidently AI - ML system design: 300 case studies

                      How do companies like Netflix, Airbnb, and Doordash apply machine learning to improve their products and processes? We put together a database of 300 case studies from 80+ companies that share practical ML use cases and learnings from designing ML systems. Navigation tips. You can play around with the database by filtering case studies by industry or ML use case. We added tags based on recurring t

                        Evidently AI - ML system design: 300 case studies
                      • LLMアプリにhuman-in-the-loopを追加する「HumanLayer」を試す

                        GitHubレポジトリ HumanLayer HumanLayer: AIエージェントがツールベースおよび非同期ワークフローで人間とコミュニケーションできるようにするPythonツールキット。人間をループに組み込むことで、エージェントツールはより強力で意味のあるツールコールやタスクへのアクセスが可能になります。 あなたのLLM(OpenAI、Llama、Claudeなど)やフレームワーク(LangChain、CrewAIなど)を持ち込み、AIエージェントに安全に世界へのアクセスを提供しましょう。 なぜHumanLayerなのか? 機能やツールは、エージェントワークフローの重要な要素です。これらは、LLM(大規模言語モデル)が外部の世界と意味のある形でやり取りし、広範囲にわたる重要な作業を自動化することを可能にします。正確で正しい機能呼び出しは、AIエージェントがアポイントメントを予約したり

                          LLMアプリにhuman-in-the-loopを追加する「HumanLayer」を試す
                        • Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用

                          ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームチームに所属している黒松です。 今年の1月に公開した「MLOpsを支えるヤフー独自のモデルモニタリングサービス」の記事ではヤフーが内製したモデルモニタリングツールであるDronach(ドロナック)をご紹介しました。 本記事では、新たにDronachに追加したFeature Attributionドリフト検定機能を実例とともにご紹介します。 AIプラットフォームチームについて 私が所属しているAIプラットフォームチームは、社内のAI活用を促進するための共通プラットフォームを開発し提供することが目的のチームです。 AIプラットフォームは、Namespaceで分離されたマルチテナントKuberne

                            Feature Attributionを使ったモデルモニタリングの開発と実際の機械学習モデルへの適用
                          • 機械学習品質管理・保証の動向と取り組み

                            2. 自己紹介 福島 真太朗 (Shintaro Fukushima) ● コネクティッド先行開発部InfoTech データ解析基盤G グループ長/プリンシパル・リサーチャー ● s_fukushima@mail.toyota.co.jp ● shi-fukushima@toyota-tokyo.tech ● TwitterID: shifukushima 2 ● 産業技術総合研究所人工知能研究センター 客員研究員 ○ NEDO・産総研 AI品質マネジメント検討委員会 委員 ● 国立情報学研究所 ○ JST未来社会創造事業 高信頼な機械学習応用システムによる価値創造 委員 4. トヨタ@大手町 クルマのライフサイクルに関わるデータ解析を推進 4 ● 車両データ解析 (CAN・位置情報・画像等) ● 機械学習の品質管理・保証 ● マテリアルズ・インフォマティクス ● 生産工場における兆候検知

                              機械学習品質管理・保証の動向と取り組み
                            • ウォンテッドリーにおける推薦システムのオフライン評価の仕組み

                              第35回 MLOps 勉強会:https://mlops.connpass.com/event/297976/ ウォンテッドリーでは、多様なユーザーと会社の理想的なマッチングを実現するために、会社訪問アプリ「Wantedly Visit」の推薦システム開発に力を入れています。今回の発表では、推薦チームが取り組んだオフライン評価の仕組み化について紹介します。この仕組みの導入により、推薦施策のリリース頻度や1回あたりの成果量が改善し、より早くユーザーに価値を提供できるようになりました。

                                ウォンテッドリーにおける推薦システムのオフライン評価の仕組み
                              • GitHub - Arize-ai/phoenix: AI Observability & Evaluation

                                Phoenix provides MLOps and LLMOps insights at lightning speed with zero-config observability. Phoenix provides a notebook-first experience for monitoring your models and LLM Applications by providing: LLM Traces - Trace through the execution of your LLM Application to understand the internals of your LLM Application and to troubleshoot problems related to things like retrieval and tool execution.

                                  GitHub - Arize-ai/phoenix: AI Observability & Evaluation
                                • Google、データサイエンティストや機械学習エンジニア向けのMLOpsサービスを発表

                                  CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

                                    Google、データサイエンティストや機械学習エンジニア向けのMLOpsサービスを発表
                                  • Unity Learnチュートリアル「ML-Agents:ハチドリ」で強化学習を始めよう|①Flowerクラスの実装

                                    ML-Agents:ハチドリ Unityには、強化学習を構築するためのフレームワークであるML-Agentsがあります。また、Unityの公式なチュートリアル&コースウェアを提供するUnity Learnにおいて、このML-Agentsのチュートリアルを提供する「ML-Agents:ハチドリ」があります。 「ML-Agents:ハチドリ」は、Humming bird (ハチドリ)が蜜を吸うゲームの中で、ハチドリが効率的に蜜を吸うことをゴールとして、強化学習を用いてハチドリをトレーニングするための学習コンテンツです。 この記事は、私が「ML-Agents:ハチドリ」を学習した際に、重要だと考えた事項を備忘用にメモするためのものです。 プロジェクト:①Flower.cs 本プロジェクトでは、個々の花の機能のスクリプトを作成します。ハチドリはこの花と直接やりとりをするので、適切な反応をする必要が

                                      Unity Learnチュートリアル「ML-Agents:ハチドリ」で強化学習を始めよう|①Flowerクラスの実装
                                    • MLflowのデータストアを覗いてみる - 株式会社ホクソエムのブログ

                                      (2020/08/14 flavorについての記載を一部修正) はじめに こんにちは、ホクソエムサポーターの藤岡です。 最近、MLflowを分析業務で使用しているのですが、お手軽に機械学習のモデルや結果が管理できて重宝しています。 また、特定のライブラリに依存しないなど、使い方の自由度も非常に高いところが魅力的です。 ただ、ザ・分析用のPythonライブラリという感じでとにかく色々なものが隠蔽されており、 サーバにつなぐクライアントさえもプログラマあまりは意識する必要がないという徹底っぷりです。 もちろんマニュアル通りに使う分には問題ないですが、 ちゃんと中身を知っておくと自由度の高さも相まって色々と応用が効くようになり、 様々なシチュエーションで最適な使い方をすることができるようになります。 というわけで、今回はMLflowの記録部分を担う、 Experiment, Run, Artif

                                        MLflowのデータストアを覗いてみる - 株式会社ホクソエムのブログ
                                      • GitHub - mercari/ml-system-design-pattern: System design patterns for machine learning

                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                          GitHub - mercari/ml-system-design-pattern: System design patterns for machine learning
                                        • 【MLOps入門】MLOps概要 - Qiita

                                          1. はじめに 昨今、AI・機械学習関連技術が基礎研究のフェーズを抜け、製品開発のフェーズにて本番稼働システムに投入・運用されることが多くなるに連れて聞くことが多くなった「MLOps」という概念について、簡単に書きます。 本記事ではMLOpsの概要を記載し、実践的な取り組みについては別途記載します。 (追記)アップデート版として MLOpsの意義:機械学習プロジェクトを成功させるための鍵 を投稿したので、そちらも合わせてご確認ください。 2. 機械学習プロジェクトの課題 機械学習プロジェクトを遂行していくことを阻害する課題として、例えば下記があります。 学習リソースが枯渇して、迅速な実験ができない 学習環境のスピーディなスケール ex. 並列で実験を回したいが、個別所有のGPUマシンだと1並列しか回せず、共同利用のGPUマシンは混んでいて使えない。(昨日まではGPUマシンを遊ばせていたのだ

                                            【MLOps入門】MLOps概要 - Qiita
                                          • GOのデータ・AIを活用する「組織」を30分で紹介

                                            GO TechTalk #25 で発表した資料です。 ■ YouTube https://www.youtube.com/live/lH0z49oHRWI?feature=shared&t=98 ■ connpass https://jtx.connpass.com/event/306325/

                                              GOのデータ・AIを活用する「組織」を30分で紹介
                                            • gokartの運用と課題について

                                              以下の『MLOps勉強会』 の資料です https://m3-engineer.connpass.com/event/159721/

                                                gokartの運用と課題について
                                              • Practitioners Guide to Machine Learning Operations (MLOps)

                                                Practitioners Guide to Machine Learning Operations (MLOps)Gain an overview of the machine learning operations (MLOps) life cycle, processes, and capabilities. Understand concrete details about running a continuous training pipeline, deploying a model, and monitoring predictive performance of ML models. The MLOps life cycle and important processes and capabilities for successful ML-based systemsOrc

                                                  Practitioners Guide to Machine Learning Operations (MLOps)
                                                • Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG

                                                  こんにちは、技術本部 データシステム部 MLOpsブロックの平田(@TrsNium)です。約2年半ぶりの執筆となる今回の記事では、MLOps向け基盤を「Kubeflow Pipelines」から「Vertex Pieplines」へ移行して運用コストを削減した取り組みを紹介します。 目次 目次 はじめに Vertex Pipelinesとは Vertex Pipelinesへの移行 Vertex Pipelinesへ移行するワークフロー 1. ワークフローのKubeflow Pipelines SDK V2への移行 コンパイラのデータ型の制約が厳しくなった ContainerOp APIが非推奨になった Kubeflow PipelinesのPlaceholderを使用できなくなった 2. スケジュール実行されているワークフローへ前回実行分が終わるまでの待機処理を追加 3. Vertex

                                                    Kubeflow PipelinesからVertex Pipelinesへの移行による運用コスト削減 - ZOZO TECH BLOG
                                                  • 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services

                                                    Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの卜部です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年10月15日にオンラインで開催された AWS AI/ML@Tokyo #7では、AWS ソリューションアーキテクトより、AWSにおけるMLOpsプロセス実装のベストプラクティスや ML CI/CD環境の構築についてお話ししました。また、お客様活用事例として、株式会社コナミデジタルエンタテインメント様、ヤフー株式会社様 におけるAmazon SageMakerの事例をお話しいただきました。 「AWS で構築する MLOps 基盤」

                                                      【開催報告 & 資料公開】 AI/ML@Tokyo #7 AWSにおけるMLOps 開催報告 | Amazon Web Services
                                                    • MLOps実践者たちのリアルなお悩みの解決にコミュニティーがどう貢献できるか

                                                      MLOps(機械学習の実運用化)の活動目的&方針を「デザイン思考」で議論した座談会の内容をレポート。デザイン思考フレームワーク&ツール「MURAL」を紹介し、MLOps実践時の悩みと対策案を議論。世の中が抱えているMLOpsの課題を解決するためにコミュニティーの方針を検討する。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps(機械学習の実運用化)の普及に貢献していきます。 このレポートでは、2020年9月に行われた第2回のイベント活動である「MLOpsコミュニティ座談会」の様子をお伝えします。今回はコミュニティーの方針を少人数で議論するため参加者を16人に限定し、リモートで実施

                                                        MLOps実践者たちのリアルなお悩みの解決にコミュニティーがどう貢献できるか
                                                      • ゼロからAI組織を作る|ばんくし

                                                        はじめにAI組織をゼロから作り、拡大していく時のことを書く。 私自身がAI組織を立ち上げるにあたって、各社のAI組織の部長クラスやCTO、VPoEに20名以上にヒアリングした結果、そして私がここ1年強でした実体験を元にしている。 全ての場合で必ずしも正しいものではないかも知れないが、今後のために言語化しておく。 重要な3つのことあなたが「AI組織作ってよ」と言われた時、そして組織開拓を進めている時に絶対に必要な事が3つある。これから起こる事全ての事象で、この前提を頭に置いておかないといけない。 AI分野外の人は分野内の事は分からない 組織やグループのミッションに沿う事が必須 コミュニケーションを避けてはいけない これは私の経験的にもそうだし、あらゆるAI組織のリーダーが組織作りで最も多く挙げている重要要素でもある。 AI組織という船の漕ぎ手はあなた大前提、AI分野(機械学習エンジニア、デー

                                                          ゼロからAI組織を作る|ばんくし
                                                        • 現場課題に向き合い MLOps成熟度を高める道

                                                          SaaS型Webサービス「カオナビ」のチーム開発でPackage by Featureを取り入れた話/Implementing Package by Feature in kaonavi

                                                            現場課題に向き合い MLOps成熟度を高める道
                                                          • グーグル、マネージド機械学習プラットフォーム「Vertex AI」を一般提供

                                                            印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Googleは米国時間5月18日、機械学習プロジェクトの構築、展開、管理を行うための、データサイエンティストや機械学習エンジニア向けのマネージドプラットフォームである「Vertex AI」の一般提供開始を発表した。この発表が行われたのは、2021年はオンラインで開催されている開発者向けカンファレンス「Google I/O」でのことだ。 Googleは機械学習関連の製品やサービスを数多く提供しており、それらの製品にはAmazon Web Services(AWS)の「SageMaker」をはじめとするプラットフォームと競合するものもあるが、同社は市場に出回っているツールには不十分なものが多いと主張している。 Google CloudのVe

                                                              グーグル、マネージド機械学習プラットフォーム「Vertex AI」を一般提供
                                                            • MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog

                                                              MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア(機械学習 & MLOps領域)をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記

                                                                MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
                                                              • AI研修【MIXI 23新卒技術研修】

                                                                23新卒技術研修で実施したAI研修の講義資料です。 ハンズオン用リポジトリ:https://github.com/nami73b/machine-learning-notebooks-2023 資料の利用について 公開している資料は勉強会や企業の研修などで…

                                                                  AI研修【MIXI 23新卒技術研修】
                                                                • 機械学習による予測を自動的にスケールする方法 | Google Cloud 公式ブログ

                                                                  ※この投稿は米国時間 2020 年 12 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 これまでのデータ サイエンス分野での大きな問題の一つは、試験運用版段階を通過できないモデルが多数あることでした。データ サイエンス分野が成長を遂げ、成熟するにつれて、プロジェクトの開発速度と再現性を向上させる MLOps プロセスとツールが出現しました。データ サイエンス分野はまだ成長の途上ではありますが、これまで以上に多くのモデルが本番環境にまで到達するようになりました。 これは、自分のモデルが本番環境でどうスケールするかという、データ サイエンティストの次なる疑問へとつながります。本ブログ投稿では、マネージド予測サービスである Google Cloud の AI Platform Prediction を使用して、推論ワークロードのスケーリングに関する問題に対応す

                                                                    機械学習による予測を自動的にスケールする方法 | Google Cloud 公式ブログ
                                                                  • Step-by-Step MLOps and Microsoft Products

                                                                    ▼こちらのMLOps資料のv1.1版となります。 https://speakerdeck.com/shisyu_gaku/external-20220202-kurasukai-cui-azure-machine-learningwozhong-xin-tositamsfalsemlopssoriyusiyonfalsegai-yao-toakitekutiya 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。 ▼更新情報 ・2022年5月末(主にMSBuild)にて 一般提供(GA)を開始した Azure ML v2 ベースの実装・機能紹介スライドへの変更 ・トラフィックのミラーリングなど新しい Azure M

                                                                      Step-by-Step MLOps and Microsoft Products
                                                                    • Vertex AI Workbench | Google Cloud

                                                                      Choose from Colab Enterprise or Vertex AI Workbench. Access every capability in Vertex AI Platform to work across the entire data science workflow—from data exploration to prototype to production.

                                                                        Vertex AI Workbench | Google Cloud
                                                                      • GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード

                                                                        Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用

                                                                          GoogleのMLOps実践ホワイトペーパー Practitioners Guide to Machine Learning Operations (MLOps) 要点まとめ - 肉球でキーボード
                                                                        • 機械学習バッチ実行環境を整備した話 - pixiv inside

                                                                          はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す

                                                                            機械学習バッチ実行環境を整備した話 - pixiv inside
                                                                          • AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞

                                                                            人工知能(AI)システムは作って終わりではない。作ってからが本番で、その核となる機械学習(ML)のデータを絶えず新しいデータで更新しつつ、アルゴリズム(計算手法)も見直し、精度を高め続ける必要がある。このような機械学習モデルを運用しながら改良する手法は「MLOps(エムエルオプス)」と呼ばれ、その取り組みを支援するスタートアップも続々と生まれている。そうした新興企業をCBインサイツが分野別にまとめた。

                                                                              AIは作ってからが本番 改良支援のスタートアップ続々 - 日本経済新聞
                                                                            • 「Databricks とは?何ができるか」新入社員が感じたイケてる機能10選 - Qiita

                                                                              目次 はじめに 背景と目的 Databricksとは何か 機能紹介 共通 データエンジニアリング 機械学習 Databricks SQL おわりに はじめに こんにちは。Databricks の新井です。Qiita 初投稿です。 2022年の7月よりソリューションアーキテクトとして働き始めました。 お客様に弊社製品を知っていただき、導入いただく際の技術サポートを行う役割です。 本記事では Databricks にご興味がある皆様に弊社プラットフォームを理解いただくために、新入社員の目線から便利だと感じた10個の機能をまとめました。 今後も記事執筆を継続するモチベーションに繋がりますので「いいね」や記事の保存、SNSで共有いただけると嬉しいです。宜しくお願いいたします! 背景と目的 皆様の中には Databricks という会社に馴染みがない方も多いと思います。 米国カリフォルニア州に本社が

                                                                                「Databricks とは?何ができるか」新入社員が感じたイケてる機能10選 - Qiita
                                                                              • hydra-mlflow-optuna

                                                                                Scala アプリケーションのビルドを改善してデプロイ時間を 1/4 にした話 | How I improved the build of my Scala application and reduced deployment time by 4x

                                                                                  hydra-mlflow-optuna
                                                                                • 医療データベースMIMICの使い方 | シェアする挑戦者

                                                                                  アクセス権をリクエスト まずはMIMICへのアクセス権をもらう必要があります。以下、その手続きを開設していきますが、こちらも合わせて参照してください。 CITIトレーニング MIMICへのアクセス権をリクエストする前に、CITI programの”Data or Specimens Only Research”というコースを、オンラインで修了しておく必要があります。 まず、こちらのサイトに行き、”affiliation”のところで”Massachusetts Institute of Technology Affiliates”を選びます(”independent learner”ではないのでご注意を)。 “Massachusetts Institute of Technology Affiliates course”→”Human Subjects training category”→

                                                                                    医療データベースMIMICの使い方 | シェアする挑戦者

                                                                                  新着記事