並び順

ブックマーク数

期間指定

  • から
  • まで

401 - 440 件 / 499件

新着順 人気順

MLOpsの検索結果401 - 440 件 / 499件

  • Step-by-step MLOps v1.2

    ▼ 更新情報 ・Azure Machine Learning 新機能サポート ・Managed Feature Store ・Registry etc... ・パイプラインジョブのデバッグ ・環境分離と計算リソース共有 ・LLMOps ▼ Prompt flowの動画 https://www.youtube.com/watch?v=DaIYrlMOj7I ▼こちらのMLOps資料のv1.2版となります。 https://speakerdeck.com/shisyu_gaku/step-by-step-mlops-and-microsoft-products 全く MLOps が無い状態から徐々にステップアップする場合に具体的にどんなアーキテクチャで Azure Machine Learning やその他サービスのどの機能を使用して実装を進めていくか整理した資料を大幅に更新しました。

      Step-by-step MLOps v1.2
    • Applied-ML Papers

      Curated papers, articles, and blogs on machine learning in production. Designing your ML system? Learn how other organizations did it. Star Table of Contents Data QualityData EngineeringData DiscoveryFeature StoresClassificationRegressionForecastingRecommendationSearch & RankingEmbeddingsNatural Language ProcessingSequence ModellingComputer VisionReinforcement LearningAnomaly DetectionGraphOptimiz

        Applied-ML Papers
      • Amazon EKSでKubeflowを立ち上げてJupyter Notebookを触るまでの道のり -Kubeflow v1.0.1 Released-

        COVID-19でリモートワークが推奨されているため自宅にこもりがちです。self-isolateするだけでなくself-studyに最適な時機なのではないでしょうか。そんなわけで以前より興味のあったKubeflowをEKSのKubernetesクラスタ上に設置して簡単なJupyter Notebookを作るテストを行ってみました。KubeflowはKubernetes上で機械学習のモデル開発やエンドポイントのデプロイをサポートするオープンソースのシステムです。データサイエンスの職能領域は主にビジネス寄りとされるデータサイエンティストとエンジニア寄りの機械学習エンジニアに枝分かれして語られます。機械学習エンジニア領域ではMLOpsの興隆と共に実際に構築したモデルを運用しテストおよび改善していく必要性が以前にも増して高まってきているようです。Amazon Sagemakerのようなマネージド

          Amazon EKSでKubeflowを立ち上げてJupyter Notebookを触るまでの道のり -Kubeflow v1.0.1 Released-
        • MLOpsの意義:機械学習プロジェクトを成功させるための鍵 - Qiita

          はじめに MLOpsエンジニアとして、MLOpsの意義を他人に説明する機会が定期的にあるので、まとめてみました。 このブログでは、MLOps(Machine Learning Operations)という概念を紹介し、機械学習プロジェクトの成功に向けてどのように活用し得るかを記載します。 MLOpsが登場した背景 機械学習(ML)は今日、ビジネスにおいて重要な役割を果たしています。 しかし、機械学習プロジェクトというのは「データサイエンティストが自身のラップトップでモデルを開発すれば終わり」ではありません。そのモデルがシステム・プロダクトに組み込まれ、価値を発揮し続けるためには、様々な工程を繰り返し経る必要があります。(参考: ITコンサル企業のAIチームでMLOpsをすることの面白みと今後の展望) そこで発生する課題に対応するためには、従来のソフトウェア開発手法とは異なる、新たなアプロー

            MLOpsの意義:機械学習プロジェクトを成功させるための鍵 - Qiita
          • Kedroで機械学習パイプラインに入門する - Qiita

            はじめに Kedroという機械学習向けパイプラインツールを使ってみたので備忘までに記事を書きます。 とりあえずパイプラインを組んでみて動いたところまで、です。もう少し使い込んで、別途投稿できればと思っています。 公式のチュートリアルの差分は、以下くらいかなと思います。(どっちもちょっとしたことですが) ホストを汚さないようにDockerコンテナ内でKedroプロジェクトを作成・開発していること node.pyは使わず、普段慣れ親しんだディレクトリ構成で普通にスクリプトを書いていること(それらをノードとしてパイプラインでつないでいる) パイプラインツールの必要性 依存関係が複雑になりがちな処理処理フローを管理したい データ取り込み→データ前処理→モデルのトレーニング→チューニング→デプロイメント、etc ジョブを並列実行したい コンポーネントごとにマシンスペックを柔軟に設定したい 前処理は高

              Kedroで機械学習パイプラインに入門する - Qiita
            • The Pragmatic Programmer for Machine Learning

              The Pragmatic Programmer for Machine Learning Engineering Analytics and Data Science Solutions Marco Scutari, Mauro Malvestio 2023-04-22 Preface Pitching new ideas by prefacing them with quotes like “Data scientist: the sexiest job of the 21st century” (Harvard Business Review 2012) or “Data is the new oil” (The Economist 2017) has become such a cliché that any audience (in business and academia a

              • Where to find help: DataRobot docs

                Great! Let us know what you found helpful. What can we do to improve the content? Submit

                • Introducing Flyte: Cloud Native Machine Learning and Data Processing Platform

                  Today Lyft is excited to announce the open sourcing of Flyte, a structured programming and distributed processing platform for highly concurrent, scalable, and maintainable workflows. Flyte has been serving production model training and data processing at Lyft for over three years now, becoming the de-facto platform for teams like Pricing, Locations, Estimated Time of Arrivals (ETA), Mapping, Self

                    Introducing Flyte: Cloud Native Machine Learning and Data Processing Platform
                  • 機械学習で「メリットが分かりづらい」と思われがちなパイプラインを分かりやすく解説 - Qiita

                    機械学習とパイプライン エンジニアの皆さんは、「パイプライン」といえば何を思い浮かべるでしょうか? 恐らく多くの人は、 ①最近ハッキングされたことで話題の、石油輸送管 ②基本情報試験などで頻出の、CPUの並行命令実行の仕組み を思い浮かべるかと思います。 ※画像はWikipediaより 機械学習分野でも、Scikit-LearnやMLOps系のツールにおいて頻出する用語であり、 何となく、「複数の処理を連続で行う仕組み」といったイメージを持たれている方が多いかと思います。 ですが、連続処理なら各処理を順番に実装すれば同様の機能を実現できるため、正直 「メリットがよく分からん!」 と思われている方も多いかと思います。 私もそう思っていましたが、調べてみると、場面によっては必要不可欠と言えるようなメリットがある事が分かったので、 記事にまとめようと思います パイプラインとは? パイプラインの概

                      機械学習で「メリットが分かりづらい」と思われがちなパイプラインを分かりやすく解説 - Qiita
                    • Build production-grade data and ML workflows, hassle-free with Flyte

                      The infinitely scalable and flexible workflow orchestration platform that seamlessly unifies data, ML and analytics stacks.

                        Build production-grade data and ML workflows, hassle-free with Flyte
                      • https://pages.awscloud.com/rs/112-TZM-766/images/20201015_AWS%E3%81%A6%E3%82%99%E6%A7%8B%E7%AF%89%E3%81%99%E3%82%8BMLOps%E5%9F%BA%E7%9B%A4_%E9%85%8D%E5%B8%83%E7%89%88__AIMLTokyo7.pdf

                        • Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング

                          プラットフォームの動作デモを25:59から行っていますので、動画でご覧ください。 トレーニングワークフローのサポートでは、次のようなソフトウェア・ライブラリが使われています。 ユーザーがKubeflow pipelineを作成 ローカルまたはCircle CI経由でデプロイ チームのGCPプロジェクトからDockerイメージなどを取得 トレーニングの結果をSlackで通知 トレーニング終了後、モデルのパラメーターと精度をmlflowに格納 モデルをチームのGCPプロジェクトにプッシュ 結果が悪い場合には再トレーニング MLプラットフォームの特徴 メルカリのMLプラットフォームは次のような特徴を持っています。 プロファイルは独立し、ユーザーは自分の作業しているプロジェクトのデータのみにアクセス可能 CPU/GPU/TPUなどのリソースはオンデマンドに提供 PrometheusとGrafana

                            Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング
                          • MLシステムにおけるモデル・データの監視【概要編】 | フューチャー技術ブログ

                            ツールの紹介Great Expectations概要Great Expectationsは、ユーザー独自のデータ品質テストの作成、テストの実行、テスト結果の可視化を可能とするOSS Pythonライブラリです。用意されているテストが豊富でデータの品質チェックに特化していることが特徴です(用意されているテスト一覧)。 監視できる項目例 Input Metrics 欠損値、各値が範囲内か、columnの増減、統計値が範囲内か、データドリフト/スキュー、外れ値など 詳細データの品質テスト(テストのことをexpectation)、エラーの文章化(html形式でどのテストをパスし、どのテストでエラーを起こしたかが見れる)、プロファイリング(統計量の計算)が可能となっています。 ※Great Expectations 公式Docsより画像引用 懸念点としては、モデル精度の監視や特徴量寄与率などのOut

                              MLシステムにおけるモデル・データの監視【概要編】 | フューチャー技術ブログ
                            • MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より

                              Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

                                MLを運用環境に展開する前に知っておくべきこと - Francesca Lazzeri氏の講演より
                              • MLOpsを実現するSRE激闘の歴史

                                XP祭り2020登壇資料 MLOpsを実現するSRE激闘の歴史

                                  MLOpsを実現するSRE激闘の歴史
                                • Analystのスループットを継続的に最大化させるデータ基盤の運用思想

                                  この記事は「Eureka Advent Calendar 2020」の16日目の記事です。 こんにちは、Head of BIの鉄本です。 15日目は Jun Ernesto Okumuraによるエウレカのデータ組織運営の1年間でした。今日はこの話に関連して、もう少し具体的にEureka BIチームのAnalystの分析フローを支える分析環境について書きます。主に運用の思想や仕組みづくりの紹介になります。 想定読者Data Lake・Data Ware House・Data Martなどのデータ基盤周辺知識があるAnalystを活かすデータ基盤の開発運用に興味がある前置きBIチームの紹介やAnalystの業務フローに関する前置きが少し長くなりますがお付き合いくださいませ。 お急ぎの方は、本題まで飛ばしてください。 チームのミッションとデータ基盤BIチームは、「価値のある意思決定」と「意思決定

                                    Analystのスループットを継続的に最大化させるデータ基盤の運用思想
                                  • How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds

                                    BlogHow To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model This article outlines ten stages of operational maturity for deploying ML/AI systems to production. Which stage are you at? Every production-oriented ML/AI team grapples with the same challenge: how to work with data, code, and models effectively so that projects are readily deployable to production. The challenge

                                      How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds
                                    • GitHub - edublancas/ml-testing: 🐍 Material for PyData Global 2021 Presentation: Effective Testing for Machine Learning Projects

                                      You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                        GitHub - edublancas/ml-testing: 🐍 Material for PyData Global 2021 Presentation: Effective Testing for Machine Learning Projects
                                      • オライリーから「仕事ではじめる機械学習 第2版」を出版しました | Democratizing Data

                                        Table of Contents4/23に「仕事ではじめる機械学習 第2版」をtokorotenさんとhagino3000さんとともに出版しました。 電子版は、Kindleでは購入できない 1 のでぜひオライリー・ジャパンのサイトからDRMフリーのPDF、EPUBをご購入ください。 コードは今回はGitHubとGoogle Colaboratoryにあります。詳しくは、GitHubのレポジトリをご覧ください。 https://github.com/oreilly-japan/ml-at-work なお、第一版のコードは1st-editionタグにあります。 同人誌や初版のEbookが出た2017年から4年の歳月を経て、この度改訂版を出すこととなりました。 皆さまのおかげでAmazonの書籍ランキングでも、予約のタイミングなのに10位になったこともあったそうです。ありがたい限りです。 [2

                                          オライリーから「仕事ではじめる機械学習 第2版」を出版しました | Democratizing Data
                                        • How Meta measures the management of its AI ecosystem

                                          At Meta, we have developed measurement processes for specific metrics about AI systems that can be used to make managing models more effective and efficient, and we’ve tested these processes across a diverse ecosystem of tools and systems. We believe these techniques can be applied broadly in other organizations managing AI ecosystems, so we are sharing them here. AI development ecosystems are inc

                                            How Meta measures the management of its AI ecosystem
                                          • MLOps roadmap 2024

                                            The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap

                                              MLOps roadmap 2024
                                            • MLflow と Amazon SageMaker による機械学習のライフサイクル管理 | Amazon Web Services

                                              Amazon Web Services ブログ MLflow と Amazon SageMaker による機械学習のライフサイクル管理 機械学習(ML) や MLOps の急速な普及に伴い、企業は ML プロジェクトの実験から本番までの速度を高めたいと考えています。 MLプロジェクトの初期段階では、データサイエンティストは、ビジネスニーズに対するソリューションを見つけるために、共同で実験結果を共有します。運用フェーズでは、本番に向けたさまざまなモデルのバージョンや、ライフサイクルの管理も必要です。この記事では、オープンソースのプラットフォームである MLflow がどのようにこれらの問題に対処しているかをご紹介します。完全に管理されたソリューションに興味のある方のために、Amazon Web Services は最近、re:Invent 2020で、機械学習のための初めての、継続的統合およ

                                                MLflow と Amazon SageMaker による機械学習のライフサイクル管理 | Amazon Web Services
                                              • 8年間の進化!CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果 - CARTA TECH BLOG

                                                TL;DR CARTA MARKETING FIRMのデータサイエンスチームは、8年間にわたり機械学習基盤を進化させてきました。Luigi、AWS SageMaker、Prefectと変遷する中で、「データサイエンティストが最も付加価値を生み出す部分に集中し、時間を費やすことができる基盤」という目標に着実に近づいています。 Luigiでは開発環境構築や運用負荷が高く、柔軟性に欠けていました。 SageMakerではインフラ構築の複雑さやStep Functionsの制約が課題でした。 Prefectの導入により、Pythonのみでインフラからバッチ処理まで記述可能になり、A/Bテストの実施が容易になりました。また、ログ監視の一元化により運用効率が大幅に向上しました。 この進化を通じて、データサイエンティストの生産性と施策の実験サイクルが大幅に改善されました。 概要 CARTA MARKET

                                                  8年間の進化!CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果 - CARTA TECH BLOG
                                                • Vertex AI を利用して強化学習レコメンデーション アプリケーションをビルドする | Google Cloud 公式ブログ

                                                  ※この投稿は米国時間 2021 年 8 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。 強化学習(RL)は機械学習の形態の 1 つであり、エージェントが環境に対する行動を選択しながら、その一連の選択を通じて得られる目標(報酬)を最大化する方法を学習していくというものです。RL のアプリケーションの例として、学習ベースのロボット工学、自律走行車、コンテンツ配信などがあります。基本的な RL システムには、多くの状態、対応する行動、それらの行動に対する報酬が含まれています。これを映画のレコメンデーション システムで考えてみましょう。「状態」はユーザー、「行動」はユーザーにおすすめする映画、「報酬」は映画に対するユーザー評価に当てはめることができます。Applied ML Summit 2021 の基調講演 で Spotify が述べていたように、RL は ML

                                                    Vertex AI を利用して強化学習レコメンデーション アプリケーションをビルドする | Google Cloud 公式ブログ
                                                  • データサイエンスのフルサイクル開発を実現する機械学習パイプライン

                                                    PyCon JP 2024での登壇資料です。

                                                      データサイエンスのフルサイクル開発を実現する機械学習パイプライン
                                                    • データと機械学習で顧客体験を革新する、次世代ECの舞台裏 - MonotaRO MLエンジニアリングチームの軌跡と展望 - MonotaRO Tech Blog

                                                      MonotaRO(モノタロウ)では、全社的にデータ活用研修を行うなど、数字に基づいた意思決定を行うデータドリブンな経営が根付いています。事業者向けECサイトとして、モノを買う時にかかる手間や時間を短縮し、顧客である事業者の時間を創出することが、モノタロウの提供価値です。この価値をさらに高めるため、「ほしいものがすぐ見つかる」という顧客体験の向上に注力しています。 その中心的な役割を担うのが、機械学習(ML)を活用した顧客体験の最適化です。MLエンジニアリング(MLE)チームは、この重要なテーマの最前線に立ち、日々革新的なソリューションの開発に取り組んでいます。 データサイエンスのアルゴリズムを実用的なサービスへと昇華させる重要な役割を果たすMLEチーム。高度な検索・推薦システムの構築から、大規模データパイプラインの設計、リアルタイムユーザー行動データを用いた実装まで、幅広い技術的課題にチャ

                                                        データと機械学習で顧客体験を革新する、次世代ECの舞台裏 - MonotaRO MLエンジニアリングチームの軌跡と展望 - MonotaRO Tech Blog
                                                      • "the most popular OSS data projects"を眺めてみる(1位〜10位)

                                                        ※具体的なアンケートの質問は不明? この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品(Flyteとか)、みんな知っているだろう製品(Sparkとか)は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset

                                                          "the most popular OSS data projects"を眺めてみる(1位〜10位)
                                                        • ml-ops.org

                                                          MLOps Principles As machine learning and AI propagate in software products and services, we need to establish best practices and tools to test, deploy, manage, and monitor ML models in real-world production. In short, with MLOps we strive to avoid “technical debt” in machine learning applications. SIG MLOps defines “an optimal MLOps experience [as] one where Machine Learning assets are treated con

                                                          • マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 | Amazon Web Services

                                                            Amazon Web Services ブログ マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 この記事は、”Building Scalable Machine Learning Pipelines for Multimodal Health Data on AWS” を翻訳したものです。 ヘルスケアおよびライフサイエンスの組織においては、機械学習(ML)を使用することで、プレシジョンメディシンの実現、患者嗜好の予測、疾患検出、ケアの質の改善などに取り組んでいます。ヘルスケアにおけるITの急速な成長により、ますます多様なデータモダリティから患者レベルのデータが利用可能になりました。さらに、複数のデータドメインからのデータを組み込むことで、MLモデルの有用性と精度を向上させることが研究によって示されています[1]。これは個人のより完全なビューをモデルに与える事に

                                                              マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 | Amazon Web Services
                                                            • What Is a Feature Store? | Tecton

                                                              Updated: May 1, 2023 About the authors: Mike Del Balso, CEO & Co-Founder of Tecton Willem Pienaar, Creator of Feast Data teams are starting to realize that operational machine learning requires solving data problems that extend far beyond the creation of data pipelines. In a previous post, Why We Need DevOps for ML Data, we highlighted some of the key data challenges that teams face when productio

                                                                What Is a Feature Store? | Tecton
                                                              • 10月新刊情報『実践 AWSデータサイエンス』

                                                                『実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装』 Chris Fregly, Antje Barth 著、黒川 利明 訳、本橋 和貴 技術監修 2021年10月15日発売予定 560ページ(予定) ISBN978-4-87311-968-7 定価4,180円(税込) AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、AWSのサービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の

                                                                  10月新刊情報『実践 AWSデータサイエンス』
                                                                • GenOps: 生成 AI 向けに MLOps が進化 | Google Cloud 公式ブログ

                                                                  ※この投稿は米国時間 2024 年 9 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 組織が生成 AI ソリューションを大規模にデプロイしようとすると、多くの場合、運用上の課題に直面します。GenOps(生成 AI 向け MLOps)は、これらの課題に対処します。 GenOps は、DevOps の原則と ML ワークフローを組み合わせて、本番環境で生成 AI モデルのデプロイ、モニタリング、メンテナンスを行います。GenOps により、生成 AI システムがスケーラブルかつ高い信頼性のもと、継続的に改善されるようになります。 なぜ MLOps では生成 AI にとって難しいのか?生成 AI モデルには、従来の MLOps の手法では不十分な独自の課題があります。 スケーリング: 何十億ものパラメータには特殊なインフラストラクチャを要する。 コンピューテ

                                                                    GenOps: 生成 AI 向けに MLOps が進化 | Google Cloud 公式ブログ
                                                                  • Python: MLflow Models を使ってみる - CUBE SUGAR CONTAINER

                                                                    MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 その中でも、今回扱う MLflow Models は主に学習済みモデルやパイプラインの取り回しに関するコンポーネント。 MLflow Models を使うことで、たとえば学習済みモデルの Serving やシステムへの組み込みが容易になる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G73 $ python -V Python 3.8.5 $ pip list | egrep "(mlflow|lightgbm|scikit-learn)" lightgbm 3.0.0 mlflow 1.11.0 sc

                                                                      Python: MLflow Models を使ってみる - CUBE SUGAR CONTAINER
                                                                    • Amazon SageMaker StudioでMLOpsを始めました - inSmartBank

                                                                      こんにちは!スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio(以下SageMaker Studio)の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions(以下Step Functions)を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか?Step Functionsとの違いはな

                                                                        Amazon SageMaker StudioでMLOpsを始めました - inSmartBank
                                                                      • ロイヤルカスタマーの解像度を上げる~約100のAIモデルをMLOpsで自動運用するNTTドコモ

                                                                        各種ネットワークのサービスや映像配信など、携帯電話回線だけでなく多様な事業に取り組むNTTドコモ。同社はさまざまな事業の中で生まれる、膨大な顧客データを預かっている。そして、それらのデータを活用し、ユーザーに新たな価値を提供する取り組みに力を入れている。データから価値を生み出すには、AI(人工知能)など新たな技術も活用する。深層学習などを使って多数の精度の高い予測モデルを作り、それらを適宜改善しながら運用にする。これ実現するために、NTTドコモではMLOpsの仕組みが必要だった。 従来は社内の企画やマーケティング担当などから依頼を受け、データを扱えるエンジニアがデータを分析し、得られる知見をそれぞれが活用できるようにしてきた。これからは「データ活用は当たり前で、ビジネスユーザーもデータ活用が容易にできるように取り組んでいます」と言うのは、NTTドコモ スマートライフカンパニー データプラッ

                                                                          ロイヤルカスタマーの解像度を上げる~約100のAIモデルをMLOpsで自動運用するNTTドコモ
                                                                        • MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG

                                                                          こんにちは。カスタマーサクセス部 リサーチャーの坂田です。 レトリバでは、固有表現抽出、分類、PoC用ツール作成に取り組んでいます。 PoC用ツール作成は、研究成果をより迅速にPoCで試せることを狙いとしています。 実験結果の可視化UIが充実しているMLFlow を中心に、足りないところを補うため、その他のツールとの組み合わせについて考えていきます。 MLFlow MLFlow は、実験管理からデプロイまでカバーしたツールです。特定のツールに依存しないということに重きを置いています。 4つのコンポーネントに分かれており、必要な機能のみを使えるようになっています。 MLflow Tracking : パラメータ、コードのバージョン管理、生成物の捕捉などを行う機能など。 MLflow Projects : 再現性を担保するための機能など。 MLflow Models : デプロイの支援機能など

                                                                            MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG
                                                                          • OpenSearchで実現する画像検索とテスト追加で目指す安定運用【イベントレポート】 - CADDi Tech Blog

                                                                            OpenSearchで実現する画像検索とテスト追加で目指す安定運用 こんにちは、CADDi AI Lab MLEの志水です。 8/19に10X,M3の両社と検索運用の勉強会#Search_C10Xm3 を開催いたしました。 おかげさまで当日までの登録者が254名 、当日の参加者は最大137名までお越しいただき大盛況でした。 勉強会中何度か紹介されたペンギン本 がAmazonで売り切れる ような反響もあったようです。 その中から、キャディ発表分を抜粋したイベントレポートをいたします! - 10Xさんの発表資料はこちらから - M3さんの発表資料はこちらから AI Labでは図面管理SaaS CADDi DRAWER の検索サービスを開発/運用してきており、その経験からOpenSearchで実現する画像検索とテスト追加で目指す安定運用についてお話ししました。 目次 opensearch で k

                                                                              OpenSearchで実現する画像検索とテスト追加で目指す安定運用【イベントレポート】 - CADDi Tech Blog
                                                                            • 第3回勉強会:異音検知プラットフォーム開発を通した機械学習プロダクト開発の体制と課題

                                                                              異音検知のプラットフォームを開発する際に、リサーチャとソフトウェアエンジニアでどのようなMLOps体制を組んだのか。また、そこでは何が課題となったのか。MLOps導入の参考にしてほしい。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps(機械学習の実運用化)の普及に貢献していきます。 このレポートでは、2020年10月に行われた第3回勉強会の様子をお伝えします。今回の勉強会ではHmcommの齋藤翔太氏による「異音検知プラットフォーム開発におけるMLOpsの実際と考察」というタイトルで発表が行われました。発表は1つにも関わらず、100人以上の参加者がリモートで参加し、多くの質疑応答

                                                                                第3回勉強会:異音検知プラットフォーム開発を通した機械学習プロダクト開発の体制と課題
                                                                              • 【Techの道も一歩から】第37回「データの集計に Luigi を使ってみる」 - Sansan Tech Blog

                                                                                こんにちは。 DSOC R&D グループの高橋寛治です。 あるプロジェクトにおいて、 「DB からデータを取得し整形した結果を出力する」という一連の処理をパイプラインパッケージである Luigi を用いて行いました。 ワークフローの監視や記述が簡単に記述できて良かった*1と感じたため、ここで流れを紹介したいと思います。 Luigi Luigi は Spotify が開発・運用しているオープンソースの Python のワークフローパッケージです。 pip install luigi で簡単に導入できます。 Luigi は単独で動作させたり、スケジューラによりスケジューリングや依存関係の可視化、タスク履歴を閲覧することができます。 ワークフローはタスクから構成されます。 ざっくり説明すると、一つのタスクは一つのクラスで表現されます。 クラスは Luigi が準備しているクラスを継承し、必要な実

                                                                                  【Techの道も一歩から】第37回「データの集計に Luigi を使ってみる」 - Sansan Tech Blog
                                                                                • NECがAI運用支援で2つの新技術、「MLOps as a Service」は何に効くのか

                                                                                  NECがAI(人工知能)モデルの運用、保守を支援する2つの新技術を開発した。同社が提供するMLOps(Machine Learning Operations)支援サービスに組み込む。MLOpsとは機械学習モデルを本番環境で運用しながら開発を続けることで価値を高める手法。いわば「MLOps as a Service」を通じて、ユーザーのMLOps実現を支援したい考えだ。 新人データサイエンティストをはじめ、AIの知識が乏しい人でも適切にAIモデルを運用できるようにする。NECが開発した2つの技術はユーザーをどう支援するのか。またユーザー企業のAIモデル担当者が自ら運用、保守できるようにするMLOps as a Serviceのメリットは何か、見ていこう。 精度低下の原因分析にかかる工数を半減 開発した技術の1つは、運用しているモデルの精度が劣化した原因の分析を支援するもの。もう1つがユーザー

                                                                                    NECがAI運用支援で2つの新技術、「MLOps as a Service」は何に効くのか

                                                                                  新着記事