メルカリShopsを支えるMonorepo ML開発環境 | メルカリエンジニアリング
こんにちは！SouzohのMLチームでSoftware Engineerをしているwakanaです。 SouzohのMLチームは2021年4月にスタートし、ちょうど2年が経ちます。当時1人だったメンバーも、今では4人になり、レコメンデーションを中心に5, 6個の機能を提供するようになりました。MLOpsも成熟し、より新しく高度なML機能開発に集中して取り組める環境が整ってきていると感じています。 そこでこの記事では、立ち上げから2年たった今SouzohのPython, ML環境がどのようになっているか紹介しようと思います。これからPythonやMLのMonorepoでの開発環境を整えようとしている方、特に少人数での運用を考えてる方の参考になれば嬉しいです。 TL;DR SouzohではPoetry, Bazel, VertexAI Pipelinesで快適なMonorepo開発環境を実現
機械学習システムアーキテクチャ入門 ＃2
機械学習システムのアーキテクチャを検討する上で考慮すべき課題について調査しまとめた資料です。Money Forward 社内で開かれた MLOps についての勉強会のために作成しました。 ## Reference 澁井 雄介 著 AIエンジニアのための機械学習システムデザインパターン 翔泳社 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 有賀 康顕 中山 心太 西林 孝 著 仕事ではじめる機械学習 第2版 オライリー・ジャパン 2021年 https://www.shoeisha.co.jp/book/detail/9784798169453 Katrina Clokie 著 風間 裕也, 河原田 政典 訳 A Practical Guide to Testing in DevOps Japanese Edition
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」
機械学習システムの信頼性を数値化し、技術的負債を解消する論文「 The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction」 2020-04-25 [抄訳] What’s your ML test score? A rubric for ML production systemsで紹介した論文の続編があったので読んでみました。 注意)この翻訳記事は原著論文の著者陣からレビューはされていませんShunya Ueta, are providing a translation and abridgment, which has not been reviewed by the authors.Change log2021/02/03ML Test Score を簡単に計算できるGoogl
AWS Greengrass ML Inference | AWS
AWS IoT Greengrass を使用すれば、クラウドで構築、トレーニング、最適化したモデルを使って、機械学習推論を簡単にデバイスでローカルに実行できます。また、Amazon SageMaker でトレーニングされた機械学習モデルを使用したり、Simple Storage Service (Amazon S3) に保存されている、事前にトレーニングされた自分のモデルを持ち込めたりと、柔軟性も高まります。 機械学習では、既存のデータから学習された統計的なアルゴリズムを用いた「トレーニング」というプロセスを使って、新しいデータについての決定が下されます。このプロセスを「推論」と呼びます。トレーニング中に、データ内のパターンと関係が特定され、モデルが構築されます。このモデルにより、それまでに遭遇したことのないデータについて知的な決定をシステムが下すことが可能になります。モデルの最適化では、
転移学習：機械学習の次のフロンティアへの招待 - Qiita
機械学習を実務で使う場合、「ではお客様、ラベルデータを・・・」と申し出て色よい返事が返ってくることはあまりありません。また、例えば自動運転車を作るときに、データが足りないからその辺流してくるか、お前ボンネットに立ってデータとってな、とするのは大変です。 NICO Touches the Walls 『まっすぐなうた』 より そこで必要になってくるのが転移学習です。 転移学習とは、端的に言えばある領域で学習させたモデルを、別の領域に適応させる技術です。具体的には、広くデータが手に入る領域で学習させたモデルを少ないデータしかない領域に適応させたり、シミュレーター環境で学習させたモデルを現実に適応させたりする技術です。これにより、少ないデータしかない領域でのモデル構築や、ボンネットに立つという危険を侵さずにモデルを構築することができるというわけです。 この転移学習の可能性は、NIPS 2016
「Azure Machine Learning」が正式版に、PythonやRのライブラリにも対応。誰でも機械学習を利用可能に
Azure Machine Learningを用いることで、利用者は機械学習のための大量の仮想マシンやHadoopのようなソフトウェアを用意する必要がなくなり、容易に機械学習による推論や予測、分析といったサービスを実現できるようになります。クライアントとしてExcelを利用することも可能。 モデルの作成には、Webブラウザからグラフィカルな操作が可能な「Azure Machine Learning Studio」が用意され、プログラミング不要で分析モデルを作成可能。そのモデルの中で行う計算や学習のためのライブラリとしてPythonとRにも対応ました。 あらかじめ機械学習を利用して構築されたレコメンデーション、アノマリー検出、テキスト分析などのサービスも「Azure Store」で提供され、すぐに利用可能です。コミュニティによるギャラリーも用意されています。いま見たところ「飛行機のエンジンの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The anatomy of our ML production system: the infrastructure (Part 1)
The Evolution of ML Platforms at Facebook Recap
MLPerf – Will New Machine Learning Benchmark Help Propel AI Forward?