並び順

ブックマーク数

期間指定

  • から
  • まで

401 - 440 件 / 475件

新着順 人気順

MLOpsの検索結果401 - 440 件 / 475件

  • データサイエンスのフルサイクル開発を実現する機械学習パイプライン

    PyCon JP 2024での登壇資料です。

      データサイエンスのフルサイクル開発を実現する機械学習パイプライン
    • データと機械学習で顧客体験を革新する、次世代ECの舞台裏 - MonotaRO MLエンジニアリングチームの軌跡と展望 - MonotaRO Tech Blog

      MonotaRO(モノタロウ)では、全社的にデータ活用研修を行うなど、数字に基づいた意思決定を行うデータドリブンな経営が根付いています。事業者向けECサイトとして、モノを買う時にかかる手間や時間を短縮し、顧客である事業者の時間を創出することが、モノタロウの提供価値です。この価値をさらに高めるため、「ほしいものがすぐ見つかる」という顧客体験の向上に注力しています。 その中心的な役割を担うのが、機械学習(ML)を活用した顧客体験の最適化です。MLエンジニアリング(MLE)チームは、この重要なテーマの最前線に立ち、日々革新的なソリューションの開発に取り組んでいます。 データサイエンスのアルゴリズムを実用的なサービスへと昇華させる重要な役割を果たすMLEチーム。高度な検索・推薦システムの構築から、大規模データパイプラインの設計、リアルタイムユーザー行動データを用いた実装まで、幅広い技術的課題にチャ

        データと機械学習で顧客体験を革新する、次世代ECの舞台裏 - MonotaRO MLエンジニアリングチームの軌跡と展望 - MonotaRO Tech Blog
      • "the most popular OSS data projects"を眺めてみる(1位〜10位)

        ※具体的なアンケートの質問は不明? この記事 ↑の上位20製品について、簡単に調べてみました。 私がよく知らない製品(Flyteとか)、みんな知っているだろう製品(Sparkとか)は記載薄めです。 なお、私の知識は 知っている Apache Airflow, Trino, Prefect, Apache Spark, Amundsen, Apache Flink, Apache Kafka,Apache Duid, pandas 名前だけ知っている dbt, Apache Pinot, Apache SuperSet, Great Expectations, Dask, Apache Arrow, Apache Gobblin 知らない Dagster, Flyte, RudderStack, Ray な感じです。 目次 dbt Apache Airflow Apache Superset

          "the most popular OSS data projects"を眺めてみる(1位〜10位)
        • MLOps の現場から

          2024 年12月現在の MLOps と LLMOps について述べました。 ・MLOps とは ・MLOps の技術・プロセス・文化 ・LLMOps ・MLOps の今後 ソフトウェア品質管理研究会 2024年度 第7回例会 特別講義の資料です。https://www.juse.or…

            MLOps の現場から
          • GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers

            You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

              GitHub - tensorchord/Awesome-LLMOps: An awesome & curated list of best LLMOps tools for developers
            • GenOps: 生成 AI 向けに MLOps が進化 | Google Cloud 公式ブログ

              ※この投稿は米国時間 2024 年 9 月 21 日に、Google Cloud blog に投稿されたものの抄訳です。 組織が生成 AI ソリューションを大規模にデプロイしようとすると、多くの場合、運用上の課題に直面します。GenOps(生成 AI 向け MLOps)は、これらの課題に対処します。 GenOps は、DevOps の原則と ML ワークフローを組み合わせて、本番環境で生成 AI モデルのデプロイ、モニタリング、メンテナンスを行います。GenOps により、生成 AI システムがスケーラブルかつ高い信頼性のもと、継続的に改善されるようになります。 なぜ MLOps では生成 AI にとって難しいのか?生成 AI モデルには、従来の MLOps の手法では不十分な独自の課題があります。 スケーリング: 何十億ものパラメータには特殊なインフラストラクチャを要する。 コンピューテ

                GenOps: 生成 AI 向けに MLOps が進化 | Google Cloud 公式ブログ
              • What Is a Feature Store? | Tecton

                Updated: May 1, 2023 About the authors: Mike Del Balso, CEO & Co-Founder of Tecton Willem Pienaar, Creator of Feast Data teams are starting to realize that operational machine learning requires solving data problems that extend far beyond the creation of data pipelines. In a previous post, Why We Need DevOps for ML Data, we highlighted some of the key data challenges that teams face when productio

                  What Is a Feature Store? | Tecton
                • ml-ops.org

                  MLOps Principles As machine learning and AI propagate in software products and services, we need to establish best practices and tools to test, deploy, manage, and monitor ML models in real-world production. In short, with MLOps we strive to avoid “technical debt” in machine learning applications. SIG MLOps defines “an optimal MLOps experience [as] one where Machine Learning assets are treated con

                  • マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 | Amazon Web Services

                    Amazon Web Services ブログ マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 この記事は、”Building Scalable Machine Learning Pipelines for Multimodal Health Data on AWS” を翻訳したものです。 ヘルスケアおよびライフサイエンスの組織においては、機械学習(ML)を使用することで、プレシジョンメディシンの実現、患者嗜好の予測、疾患検出、ケアの質の改善などに取り組んでいます。ヘルスケアにおけるITの急速な成長により、ますます多様なデータモダリティから患者レベルのデータが利用可能になりました。さらに、複数のデータドメインからのデータを組み込むことで、MLモデルの有用性と精度を向上させることが研究によって示されています[1]。これは個人のより完全なビューをモデルに与える事に

                      マルチモーダルなヘルスデータのためのスケーラブルな機械学習パイプラインの構築 | Amazon Web Services
                    • MLOpsとは?DevOpsとの違いや機械学習プロジェクトに求められる理由

                      機械学習プロジェクトの現場で、機械学習チーム、開発チーム、運用チームの開発工程と運用工程をパイプライン化し、データ処理やコミュニケーションを円滑にする「MLOps(エムエルオプス)」という考え方が広まってきました。そこで本記事では、MLOpsとは何か、AlOpsとの違い、MLOpsの成熟度合いの判定方法、MLOpsに用いるツールなどを解説します。 AIモデルについて詳しく知りたい方は以下の記事もご覧ください。 AIモデルとは?機械学習モデルの種類やアルゴリズムとの違いを解説 DevOpsとは MLOpsの解説に移る前に、まず「DevOps(デブオプス)」という考え方を説明します。DevOpsはMLOpsの考え方の元になっているため、DevOpsの概念や手法を知っておけば、MLOpsをスムーズに理解できるでしょう。 DevOpsとは、開発工程と運用工程をパイプライン化してデータ処理やコミュニ

                        MLOpsとは?DevOpsとの違いや機械学習プロジェクトに求められる理由
                      • 10月新刊情報『実践 AWSデータサイエンス』

                        『実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装』 Chris Fregly, Antje Barth 著、黒川 利明 訳、本橋 和貴 技術監修 2021年10月15日発売予定 560ページ(予定) ISBN978-4-87311-968-7 定価4,180円(税込) AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、AWSのサービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の

                          10月新刊情報『実践 AWSデータサイエンス』
                        • Python: MLflow Models を使ってみる - CUBE SUGAR CONTAINER

                          MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 その中でも、今回扱う MLflow Models は主に学習済みモデルやパイプラインの取り回しに関するコンポーネント。 MLflow Models を使うことで、たとえば学習済みモデルの Serving やシステムへの組み込みが容易になる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G73 $ python -V Python 3.8.5 $ pip list | egrep "(mlflow|lightgbm|scikit-learn)" lightgbm 3.0.0 mlflow 1.11.0 sc

                            Python: MLflow Models を使ってみる - CUBE SUGAR CONTAINER
                          • Amazon SageMaker StudioでMLOpsを始めました - inSmartBank

                            こんにちは!スマートバンクでSREをしている @maaaato です。 今回はスマートバンクが提供するB/43の裏側にAmazon SageMaker Studio(以下SageMaker Studio)の利用を開始したのでSageMaker Studioにまつわる話をしたいと思います。 筆者はこれまでにMLOpsの運用は行った経験がなく初めての試みでした。同じくSageMakerの構築・運用も初めてだったためいくつか悩んだポイントがありました。 特にSageMakerにはいろんな機能がありどれを使うのがベストなのか迷ったり、MLOpsを設計するにあたり、AWS Step Functions(以下Step Functions)を採用している事例などもあることからAmazon SageMaker Studio Pipelinesとどちらがベストなのか?Step Functionsとの違いはな

                              Amazon SageMaker StudioでMLOpsを始めました - inSmartBank
                            • How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds

                              How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model This article outlines ten stages of operational maturity for deploying ML/AI systems to production. Which stage are you at? Every production-oriented ML/AI team grapples with the same challenge: how to work with data, code, and models effectively so that projects are readily deployable to production. The challenge is n

                                How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds
                              • ロイヤルカスタマーの解像度を上げる~約100のAIモデルをMLOpsで自動運用するNTTドコモ

                                各種ネットワークのサービスや映像配信など、携帯電話回線だけでなく多様な事業に取り組むNTTドコモ。同社はさまざまな事業の中で生まれる、膨大な顧客データを預かっている。そして、それらのデータを活用し、ユーザーに新たな価値を提供する取り組みに力を入れている。データから価値を生み出すには、AI(人工知能)など新たな技術も活用する。深層学習などを使って多数の精度の高い予測モデルを作り、それらを適宜改善しながら運用にする。これ実現するために、NTTドコモではMLOpsの仕組みが必要だった。 従来は社内の企画やマーケティング担当などから依頼を受け、データを扱えるエンジニアがデータを分析し、得られる知見をそれぞれが活用できるようにしてきた。これからは「データ活用は当たり前で、ビジネスユーザーもデータ活用が容易にできるように取り組んでいます」と言うのは、NTTドコモ スマートライフカンパニー データプラッ

                                  ロイヤルカスタマーの解像度を上げる~約100のAIモデルをMLOpsで自動運用するNTTドコモ
                                • MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG

                                  こんにちは。カスタマーサクセス部 リサーチャーの坂田です。 レトリバでは、固有表現抽出、分類、PoC用ツール作成に取り組んでいます。 PoC用ツール作成は、研究成果をより迅速にPoCで試せることを狙いとしています。 実験結果の可視化UIが充実しているMLFlow を中心に、足りないところを補うため、その他のツールとの組み合わせについて考えていきます。 MLFlow MLFlow は、実験管理からデプロイまでカバーしたツールです。特定のツールに依存しないということに重きを置いています。 4つのコンポーネントに分かれており、必要な機能のみを使えるようになっています。 MLflow Tracking : パラメータ、コードのバージョン管理、生成物の捕捉などを行う機能など。 MLflow Projects : 再現性を担保するための機能など。 MLflow Models : デプロイの支援機能など

                                    MLFlowと他ツールの組み合わせ - Retrieva TECH BLOG
                                  • OpenSearchで実現する画像検索とテスト追加で目指す安定運用【イベントレポート】 - CADDi Tech Blog

                                    OpenSearchで実現する画像検索とテスト追加で目指す安定運用 こんにちは、CADDi AI Lab MLEの志水です。 8/19に10X,M3の両社と検索運用の勉強会#Search_C10Xm3 を開催いたしました。 おかげさまで当日までの登録者が254名 、当日の参加者は最大137名までお越しいただき大盛況でした。 勉強会中何度か紹介されたペンギン本 がAmazonで売り切れる ような反響もあったようです。 その中から、キャディ発表分を抜粋したイベントレポートをいたします! - 10Xさんの発表資料はこちらから - M3さんの発表資料はこちらから AI Labでは図面管理SaaS CADDi DRAWER の検索サービスを開発/運用してきており、その経験からOpenSearchで実現する画像検索とテスト追加で目指す安定運用についてお話ししました。 目次 opensearch で k

                                      OpenSearchで実現する画像検索とテスト追加で目指す安定運用【イベントレポート】 - CADDi Tech Blog
                                    • 第3回勉強会:異音検知プラットフォーム開発を通した機械学習プロダクト開発の体制と課題

                                      異音検知のプラットフォームを開発する際に、リサーチャとソフトウェアエンジニアでどのようなMLOps体制を組んだのか。また、そこでは何が課題となったのか。MLOps導入の参考にしてほしい。 連載目次 MLOpsコミュニティーは「全ての機械学習モデルが現場で実運用化される世界」を目指して2020年夏に始まりました。月1回程度の頻度での活動を目指し、勉強会やワークショップ、ディスカッションなどを行うことで、今後のAI技術の発展に非常に重要な、MLOps(機械学習の実運用化)の普及に貢献していきます。 このレポートでは、2020年10月に行われた第3回勉強会の様子をお伝えします。今回の勉強会ではHmcommの齋藤翔太氏による「異音検知プラットフォーム開発におけるMLOpsの実際と考察」というタイトルで発表が行われました。発表は1つにも関わらず、100人以上の参加者がリモートで参加し、多くの質疑応答

                                        第3回勉強会:異音検知プラットフォーム開発を通した機械学習プロダクト開発の体制と課題
                                      • RecSysOps: Best Practices for Operating a Large-Scale Recommender System

                                        Operating a large-scale recommendation system is a complex undertaking: it requires high availability and throughput, involves many services and teams, and the environment of the recommender system changes every second. For example, new members or new items may come to the service at any time. New code and new ML models get deployed to production frequently. One question we need to address at Netf

                                          RecSysOps: Best Practices for Operating a Large-Scale Recommender System
                                        • Vertex Pipelinesによる機械学習パイプラインの実行

                                          はじめに 機械学習の成果を運用する際には、データの処理や学習、モデルのデプロイなどといった一連の作業をワークフロー化することが多くなっています。これを実現するために、多くのワークフローツールが公開、利用されています。 今回はGoogle Cloud Platformで機械学習ワークフローを実行するためのサービスであるVertex Pipelinesを用いて、機械学習パイプラインを構築、実行するまでを紹介します。サンプル実装では以下のようにデータの前処理、モデルの学習、評価、デプロイまでを行います。 コードは以下に配置しました。 Vertex Pipelinesとは 前述したように、Vertex Pipelinesは機械学習パイプラインを実行するためのGCPのサービスです。サーバーレスで稼働するため、費用は実行時に使用した分だけに抑えることができます。他に、実行時のパラメータやパイプラインに

                                            Vertex Pipelinesによる機械学習パイプラインの実行
                                          • AIエンジニアのための機械学習システムデザインパターン | 翔泳社

                                            機械学習システム構築に必要な デザインパターンがここにある! 【本書の背景】 Pythonを用いた機械学習のモデル開発事例は多数ありますが、 そのモデルをビジネスやシステムに組み込み、運用する事例や方法論は多くありません。 そのため、AIを組み込んだ実装モデルをまとめた、 「機械学習システムのデザインパターン」に注目が集まっています。 【対象読者】 ・AIエンジニア ・システムエンジニア ・機械学習を本番システムとして使うための開発、運用方法で悩んでいるエンジニアの方 【本書の概要】 本書は機械学習を有効活用するためにはシステムに組み込むための設計や 実装が必要と考え、機械学習システムのデザインパターンを集めて解説した書籍です。 機械学習システムのグランドデザインおよびPythonによる機械学習システムの実装例を説明しつつ、 機械学習を本番活用するための方法論や、運用、改善ノウハウについて

                                              AIエンジニアのための機械学習システムデザインパターン | 翔泳社
                                            • 17-445 Machine Learning in Production / AI Engineering

                                              Machine Learning in Production (17-445/17-645/17-745) / AI Engineering (11-695) Spring 2025 CMU course that covers how to build, deploy, assure, and maintain software products with machine-learned models. Includes the entire lifecycle from a prototype ML model to an entire system deployed in production. Covers also responsible AI (including safety, security, fairness, explainability) and MLOps. Fo

                                              • Do You Really Need a Feature Store?

                                                It appears that every sophisticated ML team has built a feature store for their ML platform. Uber built Palette. Airbnb built Zipline. Netflix built Time Travel. Google Cloud worked with our customer GoJek to build Feast. Fortunately, you no longer need to build or manage your own. Google Cloud Vertex AI offers a fully managed feature store as does Sagemaker. There are even companies like tecton.a

                                                  Do You Really Need a Feature Store?
                                                • Data Distribution Shifts and Monitoring

                                                  Note: This note is a work-in-progress, created for the course CS 329S: Machine Learning Systems Design (Stanford, 2022). For the fully developed text, see the book Designing Machine Learning Systems (Chip Huyen, O’Reilly 2022). Slides (much shorter 😁). Original Google Docs version. Let’s start the note with a story I was told by an executive that many readers might be able to relate to. About two

                                                    Data Distribution Shifts and Monitoring
                                                  • MLOpsの「あるある」課題の解決と、そのためのライブラリgokart - エムスリーテックブログ

                                                    こちらはエムスリー Advent Calendar 2024 2日目の記事です。 こんにちは、AI・機械学習チームの池嶋(@mski_iksm)です。 近年、機械学習は多くのアプリケーションで当たり前のように使われるツールになりつつあります。ですが機械学習は、ライブラリを呼び出すだけで簡単に使える、というわけにはいかない特有の難しさもありますよね。 例えば、モデルの学習実験を試行錯誤しながら何度も繰り返しているうちに、「どのデータを使い、どんな設定で学習させたモデルが一番良かったのか分からなくなった」という経験はないでしょうか。 また、本番環境で使用するモデルが実験環境で作ったものを再現できず、「実験ではうまくいったのに、本番ではイマイチ…」といった問題に直面したことがある方も多いかと思います。 こうした課題に取り組みながら機械学習プロジェクトの生産性を向上させるため、近年ではMLOpsの

                                                      MLOpsの「あるある」課題の解決と、そのためのライブラリgokart - エムスリーテックブログ
                                                    • It’s All Just Wiggly Air: Building Infrastructure to Support Audio Research - Spotify Engineering

                                                      It’s All Just Wiggly Air: Building Infrastructure to Support Audio Research TL;DR We just open sourced Klio — our framework for building smarter data pipelines for audio and other media processing. Based on Python and Apache Beam, Klio helps our teams process Spotify’s massive catalog of music and podcasts, faster and more efficiently. We think Klio’s ease of use — and its ability to let anyone le

                                                        It’s All Just Wiggly Air: Building Infrastructure to Support Audio Research - Spotify Engineering
                                                      • MLflow and PyTorch — Where Cutting Edge AI meets MLOps

                                                        Authors: Geeta Chauhan, PyTorch Partner Engineering Lead and Joe Spisak, PyTorch Product Lead at Facebook PyTorch has continued to evolve rapidly since the introduction of PyTorch 1.0, which brought an accelerated workflow from research to production. Looking at the momentum in research, as shown on paperswithcode.com/trends, we can see that the research community has embraced PyTorch as its tool

                                                          MLflow and PyTorch — Where Cutting Edge AI meets MLOps
                                                        • Welcome to Metaflow for R - Metaflow

                                                          Build and manage real-life data science projects with ease.

                                                            Welcome to Metaflow for R - Metaflow
                                                          • MLOpsのキホンと動向

                                                            主要カテゴリー IBM Cloud Blog IBM Data and AI IBM Consulting IBM Partner Ecosystem IBM Sustainability Software Client Engineering IBM テクニカル・サポート 社員が語る「キャリアとIBM」 IBM Cloud Blog IBM Cloud News IBM クラウド・ビジョン IBM Cloud アップデート情報 IBM Cloud チュートリアル IBM Data and AI IBM Watson Blog アナリティクス Data Science and AI SPSS Modeler ヒモトク Db2 オートメーション IBM Consulting デジタル変革(DX) アプリの開発とモダナイゼーション 製品/サービス ソフトウェア ハードウェア サービス 無料評価

                                                              MLOpsのキホンと動向
                                                            • Orchestrating PyTorch ML Workflows on Vertex AI Pipelines | Google Cloud Blog

                                                              Rajesh ThallamSolutions Architect, Generative AI Solutions Previously in the PyTorch on Google Cloud series, we trained, tuned and deployed a PyTorch text classification model using Training and Prediction services on Vertex AI. In this post, we will show how to automate and monitor a PyTorch based ML workflow by orchestrating the pipeline in a serverless manner using Vertex AI Pipelines. Let’s ge

                                                                Orchestrating PyTorch ML Workflows on Vertex AI Pipelines | Google Cloud Blog
                                                              • 第25回 MLOps 勉強会

                                                                第25回 MLOps 勉強会 推薦システムとMLOpsの概要 Ubie株式会社 風間正弘

                                                                  第25回 MLOps 勉強会
                                                                • 1500万人が使うMIXIの写真共有アプリ「みてね」、AIを育てる基盤に用いたOSSとは

                                                                  DX(デジタル変革)を推進するには人工知能(AI)の存在が欠かせない。しかしAIの管理に頭を悩ませる企業は多い。AIの中核となる機械学習モデルは一度つくって導入すれば終わりではない。ビジネス環境の変化に応じて、継続して育てていかなければならないからだ。 そこで注目されるのが、AIをリリースした後の運用・保守フェーズで継続的に改良する「MLOps」という考え方である。MIXIはMLOpsを実現するため、開発基盤を整えている最中だ。Webブラウザー版も含めて利用者数が1500万人を突破した子どもの写真・動画共有アプリ「家族アルバム みてね」の開発事例を基に、MLOpsの勘所を解説する。 AIの運用が課題に みてねアプリには、家族の写真・動画からダイジェスト動画を作成する「1秒動画」や、アップロードした写真・動画を子どもごとに自動分類して月齢ごとにコメントやメモを保存する「人物ごとのアルバム」が

                                                                    1500万人が使うMIXIの写真共有アプリ「みてね」、AIを育てる基盤に用いたOSSとは
                                                                  • MLOps.community

                                                                    The MLOps Community fills the swiftly growing need to share real-world Machine Learning Operations best practices from engineers in the field. While MLOps sh...

                                                                      MLOps.community
                                                                    • Firebaseを活用したクライアントサイドにおける機械学習モデルの管理 | メルカリエンジニアリング

                                                                      こんにちは!メルカリのセラーエンゲージメントチームのRakeshです。最近、インターン生のメンターを担当していました。インターン生の名前はPriyanshです。彼がメルカリで担当した仕事の一部である、Firebaseを使用したクライアントサイドでの機械学習モデル構築に関してまとめたテックブログとなります。 はじめに 現代では、大規模データの利用が可能となったほか、処理能力やストレージ機能の進歩、自動化・データドリブンな意思決定の需要の高まりを受け、機械学習の人気が高まっています。 多くの企業が機械学習を取り入れたいと考えていますが、機械学習のコストは非常に高額になり得ます。開発、トレーニング、デプロイにかかるコストや、GPU、クラウドコンピューティングリソース、ストレージ、ネットワークなどの特化型のハードウェアを使用する際のコストがかさむ可能性があるためです。 これまで機械学習モデルは、サ

                                                                        Firebaseを活用したクライアントサイドにおける機械学習モデルの管理 | メルカリエンジニアリング
                                                                      • LLMOps: The Future of MLOps for Generative AI | Fiddler AI Blog

                                                                        Operationalizing Generative AI at scale depends on reducing model training, selection, and deployment costs, while ensuring AI fairness. Introducing LLMops.

                                                                          LLMOps: The Future of MLOps for Generative AI | Fiddler AI Blog
                                                                        • Amazon Deequを活用したデータ品質の計測

                                                                          本記事の背景 筆者は、普段、データエンジニアとしてデータパイプラインの構築やデータ管理を担当しています。最近は、チームからデータ不整合などデータ品質の問題が発生しているので改善したいと相談を受け、データガバナンス・データ管理の活動の1つとして、データ品質の計測と改善について、調査をしてきました。 その中で使い勝手の良さそうなOSSを2つほど見つけましたが、本記事では特にAWSを使っている人には始めやすいAmazon Deequを中心に計測のアプローチと本番環境の構築について紹介します。 そもそも品質とは何か?データ品質がなぜ重要か? Deequの詳細に入る前に、本調査のモチベーションとしてデータ品質の重要さについて説明します。 日本科学技練(品質管理の推進団体)のWebサイトによると品質の定義についてこう言及されています。 たとえばISO9000では「本来備わっている特性の集まりが要求事項

                                                                            Amazon Deequを活用したデータ品質の計測
                                                                          • MLOps is Mostly Data Engineering.

                                                                            MLOps is Mostly Data Engineering Introduction MLOps is a relatively recent term. A quick search on Google Trends reveals that the term started being searched for, around the end of 2019. Upon examining the trend line above, we can observe a significant spike that occurred at the end of 2021. Since then, the interest has remained high. ML is not something new though, if we check Google Trends for t

                                                                            • GitHub - nsakki55/aws-mlops-handson: This repository provides a comprehensive ML infrastructure for CTR prediction, focusing on AWS services and offering practical learning experience for MLOps.

                                                                              You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                                GitHub - nsakki55/aws-mlops-handson: This repository provides a comprehensive ML infrastructure for CTR prediction, focusing on AWS services and offering practical learning experience for MLOps.
                                                                              • MLOps Advent Calendar 2020 - Adventar

                                                                                MLOpsをテーマにしたアドベントカレンダーです。 機械学習の実応用をメイントピックにワイワイしていきましょう キーワード 機械学習エンジニアリング、モニタリング、継続的デリバリー、CICD、機械学習の実応用、アンチパターン、論文紹介 MLOps の定義 by GCP

                                                                                  MLOps Advent Calendar 2020 - Adventar
                                                                                • https://jp.techcrunch.com/2021/11/22/2021-11-20-get-used-to-hearing-about-machine-learnings-operations-mlops-startups/

                                                                                    https://jp.techcrunch.com/2021/11/22/2021-11-20-get-used-to-hearing-about-machine-learnings-operations-mlops-startups/

                                                                                  新着記事