AWS Machine Learning Blog How LotteON built a personalized recommendation system using Amazon SageMaker and MLOps This post is co-written with HyeKyung Yang, Jieun Lim, and SeungBum Shim from LotteON. LotteON aims to be a platform that not only sells products, but also provides a personalized recommendation experience tailored to your preferred lifestyle. LotteON operates various specialty stores,

「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/

この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの

2023/11/29(水)の第36回MLOps勉強会に登壇した際の資料です。

こんにちは，コミューンで一人目の機械学習（ML）エンジニアとして働いている柏木（@asteriam_fp）です． 入社して５ヶ月ほど経ちましたが，今回漸く最近の取り組みを紹介できそうです．ML エンジニアは僕一人なので，専らの相談相手は ChatGPT 君の今日この頃です笑 はじめに コミューンでは，企業とユーザーが融け合うコミュニティサクセスプラットフォームである commmune を提供しています．今回のブログは先日のプレスリリースでも発表された投稿レコメンド機能を commmune に導入したので，その機能を裏側で支えている機械学習基盤に関する内容を紹介します． エンドユーザーに対して提供される機械学習システムを導入するのは初めての試みになり，まさにゼロからの出発なので，これから徐々に大きく育てて行く予定です！ はじめに コミュニティプラットフォームにおける機械学習の可能性 投稿レコ

Case studyHow Brainly avoids workflow bottlenecks with automated tracking Case studyHow Neptune gave Waabi organization-wide visibility on experiment data

はじめに こんにちは、ティアキンで寄り道し過ぎて永遠にストーリークリア出来ない坂元です。データサイエンスチームに所属しています。LLMの一大ブームの中でLLMの記事を書かないのは若干憚られますが、高速に実験を回す用途で気軽に使える機械学習パイプラインライブラリって実はあまりない…？と思ったので、今回は機械学習パイプラインライブラリを個人で開発してみている話をします。なお、本記事では機械学習パイプラインを「データの加工・モデルの学習・推論を一連のワークフローとして実行出来るツール」とし、データ収集やデプロイ、分布シフトの監視などの工程については言及しないものとします。また、比較的小規模なプロジェクトの検証段階で利用することを前提とします。 開発したパイプラインのライブラリは以下のリポジトリでバージョン0.0.1として公開しましたので、実装の詳細はリポジトリをご参照ください。ドキュメントとかも

Phoenix provides MLOps and LLMOps insights at lightning speed with zero-config observability. Phoenix provides a notebook-first experience for monitoring your models and LLM Applications by providing: LLM Traces - Trace through the execution of your LLM Application to understand the internals of your LLM Application and to troubleshoot problems related to things like retrieval and tool execution.

機械学習プロジェクトの約80%が失敗するのは伊達ではないと実感したが、現実に負けないワークショップに挑戦する ML Enablement Workshop は、プロダクト開発チームが課題解決に機械学習を使えるようになるためのワークショップです。本記事では、本格的にワークショップを提供し3カ月で得られた知見と、4/20・4/21 に開催された AWS Summit で発表した(※)改善版のポイントについて紹介します。 タイトルの通り初版から改善版に至るにいろいろな実感困難がありました。本記事でその内容に触れますが、機械学習プロジェクトに関わったことがある方なら「あるある」「そうそう」とうなずいていただける点も多いと思います。そうした困難について、改善版ではどう打ち手を取ったのか知って頂くことで、議論や発想のきっかけにしていただければ幸いです。 ML Enablement Workshop は

これまで私がAIに対するテストで経験したことから得た知見です。 どういった問題があって、どういった対応をしたかを4つのChapterで説明しています。 This is the knowledge I have gained from my experience with testing AI thus far. I will explain the types of problems I encountered and how I responded to them in four chapters. その他資料 / Appendix 「今までのテストとAIを含んだプロダクトのテストの違い」 https://speakerdeck.com/mineo_matsuya/jin-madenotesutototoaiwohan-ndapurodakutonotesutonowei-i 「Smar

第30回 MLOps 勉強会の資料 https://mlops.connpass.com/event/276894/

ツールの紹介Great Expectations概要Great Expectationsは、ユーザー独自のデータ品質テストの作成、テストの実行、テスト結果の可視化を可能とするOSS Pythonライブラリです。用意されているテストが豊富でデータの品質チェックに特化していることが特徴です（用意されているテスト一覧）。 監視できる項目例 Input Metrics 欠損値、各値が範囲内か、columnの増減、統計値が範囲内か、データドリフト/スキュー、外れ値など 詳細データの品質テスト（テストのことをexpectation）、エラーの文章化（html形式でどのテストをパスし、どのテストでエラーを起こしたかが見れる）、プロファイリング（統計量の計算）が可能となっています。 ※Great Expectations 公式Docsより画像引用 懸念点としては、モデル精度の監視や特徴量寄与率などのOut

初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que

NECがAI（人工知能）モデルの運用、保守を支援する2つの新技術を開発した。同社が提供するMLOps（Machine Learning Operations）支援サービスに組み込む。MLOpsとは機械学習モデルを本番環境で運用しながら開発を続けることで価値を高める手法。いわば「MLOps as a Service」を通じて、ユーザーのMLOps実現を支援したい考えだ。 新人データサイエンティストをはじめ、AIの知識が乏しい人でも適切にAIモデルを運用できるようにする。NECが開発した2つの技術はユーザーをどう支援するのか。またユーザー企業のAIモデル担当者が自ら運用、保守できるようにするMLOps as a Serviceのメリットは何か、見ていこう。 精度低下の原因分析にかかる工数を半減 開発した技術の1つは、運用しているモデルの精度が劣化した原因の分析を支援するもの。もう1つがユーザー

AWS Machine Learning Blog Implementing MLOps practices with Amazon SageMaker JumpStart pre-trained models Amazon SageMaker JumpStart is the machine learning (ML) hub of SageMaker that offers over 350 built-in algorithms, pre-trained models, and pre-built solution templates to help you get started with ML fast. JumpStart provides one-click access to a wide variety of pre-trained models for common M

この記事は、Merpay Advent Calendar 2022 の17日目の記事です。 こんにちは。メルペイ 機械学習チームでエンジニアリングマネージャーをしているshuukです。 本日は、Machine Learning Platformチーム（以下：ML Platformチーム）をクローズした話をしていこうと思います。 MLの共通基盤という魅力的なアイディア もしあなたが、複数のMLチーム（またはMLシステム）が並行稼働している組織にいる場合、それらの共通部分を括り出した基盤を作り、MLエンジニアはその基盤の上で作業したほうが効率的だと考えたことはないでしょうか。 実際、MLの構成要素は、おおまかには特徴量計算、学習、予測、サービングといったパーツに分解することができ、共通部分も多いです。 新しいMLシステムをスクラッチで開発する苦労を知っているMLエンジニアにとって、社内共通のM

クローズドで行われた勉強会の資料です、画像認識まわりでありがちなハマりどころについて解説しています

はじめに 株式会社 RetailAI X Advent Calendar 2022 の 8 日目の記事です。 昨日は@tanabe_shogoさんの『Node.jsを使って、BigQueryからデータを取得するWebAPIを作る』でした。 本日は ML エンジニアの@atsukishが担当します。普段は機械学習モデルの開発以外にも、機械学習モデルの安定的な開発・運用基盤である MLOps の開発も担当しております。MLOps については以下の弊社テックブログでわかりやすい解説がありますので、こちらも参照ください。 機械学習モデルを安定的に開発・運用していくためには、MLOps のような機械学習向けの運用基盤が必要となります。次の図に示すように MLOps において機械学習モデルのアルゴリズムに該当するソースコード（ML Code）はごく一部であり、必要となる周辺要素は膨大で複雑です。ML

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームチームに所属している黒松です。 今年の1月に公開した「MLOpsを支えるヤフー独自のモデルモニタリングサービス」の記事ではヤフーが内製したモデルモニタリングツールであるDronach（ドロナック）をご紹介しました。 本記事では、新たにDronachに追加したFeature Attributionドリフト検定機能を実例とともにご紹介します。 AIプラットフォームチームについて 私が所属しているAIプラットフォームチームは、社内のAI活用を促進するための共通プラットフォームを開発し提供することが目的のチームです。 AIプラットフォームは、Namespaceで分離されたマルチテナントKuberne