機械学習で用いるハイパーパラメータ管理には，主に二つの方法が考えられる． argparseを用いてコマンドラインからハイパーパラメータを設定 設定ファイルを用いた管理ありがちなハイパーパラメータ管理の例argparseを用いてハイパーパラメータを管理する場合，コマンドラインから直接変更できるのが便利だが，往々にして設定するハイパーパラメータが膨大になる．また，設定ファイルに記述することでハイパーパラメータを管理する場合，ハイパーパラメータの変更の度に設定ファイルを修正しなければならない． 効果的なハイパーパラメータの値を決定したい場合，複数のハイパーパラメータの試行錯誤が面倒であるだけでなく，候補となるハイパーパラメータ数に応じて設定ファイルの修正が生じ，膨大な結果の保存 & 比較が困難になる． こうした問題点は，Hydra+MLflow(tm)+Optunaにより解決できる． Hydra
[Twitter thread, Hacker News discussion] Click here to see the new version of this list with an interactive chart (updated December 30, 2020). To better understand the landscape of available tools for machine learning production, I decided to look up every AI/ML tool I could find. The resources I used include: Full stack deep learning LF AI Foundation landscape AI Data Landscape Various lists of t
この記事はMLOps Advent Calendar 2020 - Qiita7日目の記事です。 機械学習では、データサイエンティストは実に多くの実験を行い、膨大な数の実験からより良いモデルへと繋がる着想を得ていきます。 逆に言えば、機械学習に関する開発においては非常に多くの実験が行われ、それらを効率よく・適切に管理することができなければ、優れたモデルを効率よく開発することへの妨げになってしまいかねません。 このように、機械学習に関する開発において実験管理は非常に重要な役割を果たすと私は考えています。 しかし、実験管理と一口に言っても、ノートブックのバージョン管理だったり、ハイパーパラメータの違いの記録、はたまた学習時のバリデーションスコアの記録など、細かな要素は多岐にわたります。 そして、こうした細かな「やらなければならないこと」に簡単に対応することは意外と難しく、やらなければならないが
DATAFLUCT Tech Blog
2022-08-27 データ抽出に特化したAirbyteによるEL(T) 環境構築の実践 データ基盤 Airbyte ELT こんにちは。今回は、データ基盤の構築の一部を実際に体験してみたいと思います。 データ基盤を作成するにあたり、まずは、社内に眠る様々なデータを集めてくる必要があります。前回の記事では、その機能を「収集」と紹介していました。 データ基盤とは何か… データ基盤 データ分析基盤 実践 2022-08-18 Metaflowでモデルの学習をpipeline化するまで MLOps Metaflow Pipeline 皆さんは「MLOps」について取り組んでいらっしゃるでしょうか。私は2018年頃からデータクレンジングや機械学習モデルの構築や運用をしてきましたが、当時の日本で私の耳にはMLOpsという言葉が入ってくることはありませんでした。 ただMLOpsの元となった「Dev…
Where Programming, Ops, AI, and the Cloud are Headed in 2021
In this report, we look at the data generated by the O’Reilly online learning platform to discern trends in the technology industry—trends technology leaders need to follow. But what are “trends”? All too often, trends degenerate into horse races over languages and platforms. Look at all the angst heating up social media when TIOBE or RedMonk releases their reports on language rankings. Those repo
社内規程集について回答してくれる生成AIを評価してみた〜生成AIのアーキテクチャ「RAG」の評価プロセス | LAC WATCH
こんにちは。AIプロダクト開発グループの青野です。 一昨年のChatGPTの台頭により、生成AIが注目を集めていますね。今はそれを社内でどう活用していくかというのが各社持ちきりだと思います。ラックでも生成AIを革新的な技術の一つとして、日々技術検証をしています。 今回は、生成AIのアーキテクチャの一つであるRAGの評価についてご紹介したいと思います。 ラックの生成AIの取り組み ラックでは、Azureでセキュアかつ容易に再現可能なインフラを構築し、ChatGPTと同じようなチャットUIを開発しました。これは社内で使えるChatGPTとして機能しており、業務効率化に繋がっています。 そのチャットアプリは「LACGAI powered by OpenAI（以下、LACGAI）」といい、社内ではコストを意識せずGPT-4を使うことができ、社内で共有できるプロンプト事例集も搭載しています。 また、
対象読者 「コマンドチェインって何ができるかわからない」「イマイチ使いこなせないんだよね～」というVivaldiユーザ向けの記事です． 何をコマンドチェインにすればいいのか まず，「思いつかないよ～」って人へ． 「普段自分がよくやる動作」を登録すればいいわけですが，いきなり考えられないと思います．そんな時は以下のようにしてアイデアを得ましょう． ブックマークを眺める いつもまとめて開くサイトは？ 特に，ニックネームを付けているサイト 高頻度で使うブックマークレットは？ 履歴を眺める 時系列順で確認 閲覧回数順で確認 週ごとの表示にするとわかりやすいかも よく検索するドキュメントは「検索エンジン」として追加を推奨 上位ドメインを確認 パネルを眺める パネルでよくやる作業は？ コピペなど パネルとセットで開くページは？ キーボードショートカット・マウスジェスチャを眺める 組み合わせて使っている
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。システム統括本部でソフトウェアエンジニアをしている鈴木です。ヤフー全社で利用されているユーザコンテンツ判定プラットフォーム（以下UGC判定PF）のプロダクトオーナー兼テックリードをしていました。 本記事では2021年4月から実施した機械学習モデル作成の効率化の取り組みを紹介します。以前はAPIとして提供するまで6週間かかっていたものが、最終的に学習データさえあれば1日（実質数時間）で個別チューニングされたモデルが作成され、ボタンクリックでAPIとして利用可能になるところまできました。 UGC判定PFの紹介 UGC判定PFの概要 UGC判定PFはNGワードやURLなどの登録データや、事前に作成された機械学習モデルによりユ
Azure Machine Learning + MLflowで実験管理とモデル管理をしつつ機械学習モデル開発をする話 - Qiita
本記事は「求ム！Pythonを使ってAzureで開発する時のTips！【PR】日本マイクロソフト Advent Calendar 2020」の17日目の記事です。空いていた枠に後日投稿しました。 Azure Machine Learning という機械学習周りの広い範囲をカバーするサービスがあります。Azure Machine Learning はデータセット管理からモデルの開発、実験の管理、モデルの管理、デプロイまで、機械学習モデルの開発に必要なほぼほぼ全ての工程をこなすことができるサービスですが、本記事ではAzure Machine Learning の機能の一部、実験管理とモデル管理部分をインターネットに接続可能な任意の Python 開発環境と組み合わせる方法を検証しつつ紹介します。 ただし、Azure Machine Learning の機能を素の状態では使用しません。最も広く使
はじめに [2021/4/20 更新] 以前書いたものよりいい感じに書けたものがこちらです。 このリポジトリは、Kerasによる学習とMlflow RegistoryとFastAPIを組み合わせたものになっています。 普段Flaskをよく使いますが、「FastAPIはいいぞ！」と知人に進められたので簡単な画像認識APIを作って見ようと思いました。 しかし、あまりFastAPIとMLの日本語記事を見かけなかったので、メモ代わりに本記事を作成することにしました！ 本記事では、開発環境を整えた後、APIサーバとフロントエンドの簡単な説明を記載しております。 今回使用したコードはすべてGithubに公開しています。 （以下実装のフォルダ構成などはGithubを前提に記載しています。サンプルモデルのダウンロードについてもREADME.mdに記載しています。） FastAPIとは？ Flaskのような
For demonstration purposes, we'll fine-tune the multilingual version of the small checkpoint with 244M params (~= 1GB). As for our data, we'll train and evaluate our system on a low-resource language taken from the Common Voice dataset. We'll show that with as little as 8 hours of fine-tuning data, we can achieve strong performance in this language. 1{}^11 The name Whisper follows from the acronym
Towards MLOps: Technical capabilities of a Machine Learning platform
Table of contentsIntroduction 1.1 The workflows of data science and software development are different 1.2 The ML pipeline has to include Continuous Training 1.3 Model driftFeature Store 2.1 Centralised data access 2.2 Data Versioning 2.3 Data pipelines 2.4 Data labeling 2.5 Feature repository and data discoveryTraining pipeline 3.1 Model and experiment management 3.2 Pipeline orchestration 3.3 Au
LLM（大規模言語モデル）単体ではなく、複数のLLMに検索システムなどを組み合わせた「複合AI（人工知能）システム」がこれからの主流になる――。そう指摘するのは、データ分析基盤を提供する米Databricks（データブリックス）の共同創業者、Matei Zaharia（マテイ・ザハリア）CTO（最高技術責任者）だ。 ザハリアCTOはカリフォルニア大学バークレー校（UCバークレー）の博士課程に在籍していた2009年に、ビッグデータ分析のオープンソースソフトウエア（OSS）である「Apache Spark」の開発プロジェクトを始めたことで知られる。データブリックスはSparkをベースにしたデータ分析基盤を提供するスタートアップで、ザハリアCTOは今もUCバークレーの准教授を務める。 複合AIシステム（Compound AI Systems）とは2024年2月に、ザハリアCTOがUCバークレーの
機械学習エンジニアの吉田です。今年の3月にLayerXに入社し主に機械学習を活用したOCRの開発をしています。それまでルールベースで実装されていた工程を一部機械学習ベースの実装に置き換えつつあり実際に本番でも稼働しています。この記事ではどのように検証や開発を進めてきたのかご紹介します。 背景 LayerXで提供しているバクラクでは帳票をアップロードするだけで支払金額や支払期日などを自動で読み取り補完してくれるOCR機能があります。このOCRは主にルールベースで実装されていましたが、リリースから継続的に改善が行われていたことでかなり精度高く読み取ることができるようになっていました。しかし導入企業様が増えるにつれて次第に精度の改善が困難になり、一箇所修正するとこれまで読み取れていたものが読み取れなくなるなどコードの修正も困難になってきている状況でした。 一方でリリースから1年以上経過し集められ
「atmaCup#5 振り返り会」での発表資料 - connpass: https://atma.connpass.com/event/178585/ - Competition GitHub: https://github.com/upura/atma-comp05 - Ayniy GitHub: https://github.com/upura/ayniy - Ayniy documentation: https://upura.github.io/ayniy-docs/ - YouTube: https://youtu.be/b-YogiJA9XA
Thanks to insights from our ODSC West researchers, attendees, and instructors we’ve pulled together some of the trending machine learning topics of 2021. We’re excited to host some of the leading experts and top contributors in each of these topics. Here are a few of our top picks. MLOps Everywhere MLOps has been featured at ODSC since 2018, but it really took off in 2020. It seems every company i
初めてDatabricksを利用される方向けに、マニュアルからピックアップしたコンテンツを翻訳したものになります。全文はDatabricks documentation | Databricks on AWSから参照できます。 注意 本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては英語ドキュメントを参照ください。 こちらは翻訳時点の内容となります。可能な限りアップデートしていきますが、最新の状態でない箇所がある可能性をご了承ください。 AWSでの利用を想定したものとなっています。 誤記、翻訳要望等ございましたら、コメントでご指摘いただけると幸いです。 Databricksフリートライアルへのサインアップ Databricksアカウントのセットアップとワークスペースの作成 Databricksアカウントのセットアップとワークスペースの作成(実践編) Databr
Merpay Advent Calendar 2020 の12日目は、メルペイで MLOps を担当している ML Platform チームの Mai Nakagawa がお送りします。 今回は、機械学習の実験を効率よく実行・管理するために Polyaxon という OSS のツールを導入した話をします。 Polyaxon 導入前の課題 Polyaxon について言及する前に、まずは Polyaxon 導入前に抱えていた課題について話します。それは機械学習の実験フェーズが属人化してしまっていたことです。下の図のように機械学習のワークフローを大きく実験フェーズ（Experiment Phase)、本番環境に機械学習モデルをデプロイするフェーズ（Productionize Phase）、本番環境で機械学習モデルを運用フェーズ（Operating Phase）の3フェーズに分けると、Produc
ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – - GMOインターネットグループ グループ研究開発本部
2020.07.06 ML Pipeline事始め – kedro(+notebook)とMLflow Trackingで始めるpipeline入門 – こんにちは。次世代システム研究室のT.S.です AI/機械学習が不可欠となった昨今、数多くの方がKaggleなどの分析コンペ参加から機械学習モデルの実験、そして本番環境への適用まで色々実施してらっしゃると思います。 私もその一員で、日々モデルの実験から本番機械学習基盤の構築まで色々な分野の機械学習関連業務に従事しております。 そうした中で（皆様も同じ悩みを抱えているかと思いますが）実験->本番適用->運用に渡って、色々な悩みを抱えています。 一例ですが、こん悩みがあります 実験を複数回繰り返した結果、実行結果とハイパパラメータの組み合わせがゴチャゴチャになる 実験時の処理がモジュール化していないため、処理順序の入れ替えや追加が困難 実験時
ミニマルな機械学習の実験管理を目指して
(追記 (2021/12/30): ここで述べた方法を実践するための Python パッケージ luigiflow を公開しました。) (この記事は私が書いた英語版の記事 Toward the minimalism of machine learning experiment workflows を私自身が翻訳したものです。 元記事の作成にあたり友人の Sajjadur Rahman と Sara Evensen にフィードバックをいただいたことを感謝します。) 本記事は、ストックマーク Advent Calendar 2021 の 15 日目の記事です。 機械学習分野の研究者やエンジニアの多くにとって実験は業務の大きなコストを占めます。 そのため実験環境の構築が業務のパフォーマンスに直結することは言うまでもありません。 それと関連して近年 MLOps への注目が非常に高まっていますが、
大規模自然言語モデル(LLM)をお試し利用できるツールを作ってみた - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、さまざまなLLMにどういった特徴や違いがあるのかを検証するための、GUIで複数のLLMをお試し利用できるツールを作成したのでご紹介します。 こんにちは、アナリティクスサービス部の髙橋です。 ChatGPTが登場して以降、さまざまな大規模言語モデル（LLM）が発表されていますね。 使う側としては楽しみな反面、業務で使うとなるとそれぞれのモデルにどういった特徴、違いがあるのかを検証していく必要があるのかな、と感じています。 そこで今回は、いくつかの大規模言語モデル
2021年8月25日(水) MLOps Community での講演資料 第10回 MLOps 勉強会(Online) ~機械学習基盤~ https://mlops.connpass.com/event/218772/
未経験から約半年でProfessional Cloud Architectを合格した振り返りをする - Classi開発者ブログ
こんにちは、データAI部 Pythonエンジニアの工藤 ( id:irisuinwl ) です。 この度、Google Cloud の認定資格 Professional Cloud Architect に合格しました。 自分は去年の9月から Classi に join し、それまでオンプレミス中心で開発していたソフトウェアエンジニアでしたが、未経験から半年で資格を取得するに至りました。 本記事では、試験合格までに何を行い、何が効果的であったかを紹介したいと思います。 Professional Cloud Architect (PCA)の説明 PCAに馴染みのない方もいらっしゃると思うので、簡単にどう言った資格なのか、どのような試験範囲が出るのかを紹介します。 PCAとは、GCP を用いてソリューションを構築するクラウドアーキテクトの能力を認定する試験となっております。 Profession
Applied-ML Papers
Curated papers, articles, and blogs on machine learning in production. Designing your ML system? Learn how other organizations did it. Star Table of Contents Data QualityData EngineeringData DiscoveryFeature StoresClassificationRegressionForecastingRecommendationSearch & RankingEmbeddingsNatural Language ProcessingSequence ModellingComputer VisionReinforcement LearningAnomaly DetectionGraphOptimiz
Google Cloud Composerのリリース（2018年7月19日GA）から遅れること2年数ヶ月、AWSは2020年11月24日に Managed Workflows for Apache Airflow (MWAA) をリリースした。 Introducing Amazon Managed Workflows for Apache Airflow (MWAA) それから1年、遅ればせながら自分でも軽く試してみた。AWSコンソールからAirflow UIに飛ぶのに違和感を覚えつつも1、種々のAWSサービスとの連携を考えると「むしろなんで今まで無かったんだろう」という気さえする。 概要 公式のデモ動画が分かりやすいので、まずはそれを見てみよう。 ポイントは次の通り。 DAGファイル（Pythonコード）は専用のS3バケットに置く OSSのAirflowに完全準拠 （事前に設定した上限値
2022年のPFNの機械学習基盤 - Preferred Networks Research & Development
はじめに PFNエンジニアの上野です。Cluster Servicesチームという、PFNの機械学習基盤を開発・運用するチームに所属して、日々基盤の改善や新機能の開発を進めています。 本記事は、以前にヤフー株式会社のAIプラットフォームチームと共催したイベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #1」のPFNパートをざっくりまとめて、2022年のPFNの機械学習基盤について紹介するものです。 イベントの第二回を 8/29 に開催して、さらに新しい取り組みについても紹介しますので、ぜひこちらから参加登録をお願いします。 PFNのオンプレML基盤の取り組み スライド全体はこちらからアクセスできます。 もくじ オンプレクラスタの概要 使いやすい環境 リソースの効率的かつフェアな利用 信頼性・運用省力化 クラスタに関わる組織 オンプレクラスタの概要 PFNエンジニア
ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ AI ＞ 新製品・サービス ＞ ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN AI AI記事一覧へ [新製品・サービス] ディープラーニングのパラメータを自動調整するライブラリ「Optuna v2.0」、パラメータの重要度を定量評価─PFN 2020年7月29日(水)日川 佳三（IT Leaders編集部） リスト Preferred Networks（PFN）は2020年7月29日、ディープラーニング（深層学習）のパラメータを自動で調整するライブラリ「Optuna（オプチュナ）」の新バージョン「Optuna v2.0」を公開した。新版では、ハイパーパラメータの重要度を定量的に評価できるようにした。 Optunaは、ディープラーニングの各種のパラメータを自動で調
Fargateタスクで機械学習モデルの訓練・推論をしたのでポイントを整理してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Fargate起動タイプを使用したタスクでXGBoostを動かしたいことがありました。FargateタスクはLambdaより長い時間実行できるのでバッチ処理を動かす際に便利です。いざやってみるとプライベートサブネットで動かす場合には、関連サービスとの連携のための設定が少し難しく感じたので、ポイントをまとめてみました。 Fargateについて Amazon ECSの、コンテナをサーバレスで実行できる機能です。 データ分析基盤や機械学習システムでは、15分以上を超える可能性があるバッチ処理は頻繁に登場するので、その要件を実現できる心強い機能です。AWS Fargate を使用して、イベント駆動型およびスケジュールされたワークロードを大規模に実行のドキュメントでも このパターンは次のビジネスユースケースに役立ちます。 ・ランタイム（15 分の制限）または
はじめに 本記事ではMetaflowとMLflowを使った個人開発用MLOpsの方法をご紹介します。 ここ数ヶ月個人で開発しているMLプロジェクトで利用してみて、いろいろなツールがある中で、MetaflowとMLflowの組み合わせが個人開発では最強であることがわかったのでシェアしたいと思います。 個人でMLの研究、開発されている方のご参考になれば幸いです。 Metaflowとは まず、MetaflowはNetflixが開発しているオープンソースライブラリで、機械学習用のワークフローパイプラインの機能を提供してくれます。似たようなツールだと、GoogleのKubeflow Pipeline (KFP)、Kedro、LyftのFlyteなんかがあります。 個人的にMetaflowを個人開発で用いるメリットはMetaflowが他のツールと比較して導入がかなり手軽な点です。設定なども特に難しいも
Mercari ML&Search Talk #3 ~MLOps & Platform~を開催しました #mercari_ai | メルカリエンジニアリング
プラットフォームの動作デモを25:59から行っていますので、動画でご覧ください。 トレーニングワークフローのサポートでは、次のようなソフトウェア・ライブラリが使われています。 ユーザーがKubeflow pipelineを作成 ローカルまたはCircle CI経由でデプロイ チームのGCPプロジェクトからDockerイメージなどを取得 トレーニングの結果をSlackで通知 トレーニング終了後、モデルのパラメーターと精度をmlflowに格納 モデルをチームのGCPプロジェクトにプッシュ 結果が悪い場合には再トレーニング MLプラットフォームの特徴 メルカリのMLプラットフォームは次のような特徴を持っています。 プロファイルは独立し、ユーザーは自分の作業しているプロジェクトのデータのみにアクセス可能 CPU/GPU/TPUなどのリソースはオンデマンドに提供 PrometheusとGrafana
はじめに 2020年5月17日をもって、株式会社ABEJAを退職しました。在籍期間は業務委託で入った期間を入れてちょうど1年でした。ABEJAではSoftware EngineerとしてABEJA Platformを担当し、MLOpsの新機能開発やユーザビリティ改善、およびPdMの真似事をやりました。 最終出社恒例のやつ pic.twitter.com/KtiP4DlhjH— Keigo Hattori (@keigohtr) May 16, 2020 関連記事 株式会社ABEJAに入社しました ABEJA PlatformのJupyter Notebookから機械学習Jobをたくさん投げる方法 ABEJA Platformで学習済みの機械学習モデルを管理する方法 LINE株式会社を退職します LINE株式会社に入社しました 富士ゼロックスを退職しました ABEJAでやったこと 在籍は１年
MLOps とは何か? | NVIDIA
機械学習オペレーション「MLOps」は、拡大を続ける種々のソフトウェア製品やクラウド サービスを活用して企業が AI 運用を成功させるためのベスト プラクティス MLOps と聞くと毛むくじゃらの一つ目モンスターの名前のように思われるかもしれませんが、実はエンタープライズ AI の成功を意味する頭字語です。 機械学習オペレーション (machine learning operations) の短縮表現である MLOps は、企業が AI 運用を成功させるのに使える一連のベスト プラクティスです。 MLOps は比較的新しい分野ですが、それは AI の商用利用自体がかなり新しいからであると言えます。 MLOps: エンタープライズ AI を主流に押し上げる AI のビッグバン が鳴り響いたのは 2012 年、ある研究者がディープラーニングを使って画像認識のコンテストで優勝したときでした。その
MLOps roadmap 2024
The MLOps engineer role is different from an ML engineer role. Even though the role varies from company to company, in general, ML engineers focus more on bringing individual projects to production, while MLOps engineers work more on building a platform that is used by machine learning engineers and data scientists. To build such platforms, lots of different skills are required. Here is a roadmap
Just tell me which one to useYou should probably use: Apache Airflow if you want the most full-featured, mature tool and you can dedicate time to learning how it works, setting it up, and maintaining it.Luigi if you need something with an easier learning curve than Airflow. It has fewer features, but it’s easier to get off the ground.Prefect if you want something that’s very familiar to Python pro
MLflow と Amazon SageMaker による機械学習のライフサイクル管理 | Amazon Web Services
Amazon Web Services ブログ MLflow と Amazon SageMaker による機械学習のライフサイクル管理 機械学習（ML） や MLOps の急速な普及に伴い、企業は ML プロジェクトの実験から本番までの速度を高めたいと考えています。 MLプロジェクトの初期段階では、データサイエンティストは、ビジネスニーズに対するソリューションを見つけるために、共同で実験結果を共有します。運用フェーズでは、本番に向けたさまざまなモデルのバージョンや、ライフサイクルの管理も必要です。この記事では、オープンソースのプラットフォームである MLflow がどのようにこれらの問題に対処しているかをご紹介します。完全に管理されたソリューションに興味のある方のために、Amazon Web Services は最近、re:Invent 2020で、機械学習のための初めての、継続的統合およ
Optuna meetup #1 で使用した資料です．
1. はじめに 昨今、AI・機械学習関連技術が基礎研究のフェーズを抜け、製品開発のフェーズにて本番稼働システムに投入・運用されることが多くなるに連れて聞くことが多くなった「MLOps」という概念について、簡単に書きます。 本記事ではMLOpsの概要を記載し、実践的な取り組みについては別途記載します。 2. 機械学習プロジェクトの課題 機械学習プロジェクトを遂行していくことを阻害する課題として、例えば下記があります。 学習リソースが枯渇して、迅速な実験ができない 学習環境のスピーディなスケール ex. 並列で実験を回したいが、個別所有のGPUマシンだと1並列しか回せず、共同利用のGPUマシンは混んでいて使えない。（昨日まではGPUマシンを遊ばせていたのだが。。） ローカルで良い実験結果が出る->本番環境への適用、に時間がかかる ローカルで良い実験結果が出る->本番環境への適用、までに発生する
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで石河純輝氏が、LINEのMLOpsを加速させるためのモニタリングシステムについて共有しました。後半はMLOpsにおけるモニタリングの課題とモニタリングシステム「Lupus」について。前半はこちら。 モニタリングに関するMachine Learning室の課題 まず1つ目の課題は、モニタリングコストの肥大化です。先ほどお伝えしたように、Machine Learning室では100を超えるMLプロダクトを開発、運用しており、それらが扱うデータソースもバラバラです。 Machine Learning室ではこれまで、内製ツールの開発などを通して、よりスピーディにMLプロダクトの開発ができるようになりましたが、運用する
How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds
BlogHow To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model This article outlines ten stages of operational maturity for deploying ML/AI systems to production. Which stage are you at? Every production-oriented ML/AI team grapples with the same challenge: how to work with data, code, and models effectively so that projects are readily deployable to production. The challenge
MLflow は MLOps に関連した OSS のひとつ。 いくつかのコンポーネントに分かれていて、それぞれを必要に応じて独立して使うことができる。 その中でも、今回扱う MLflow Models は主に学習済みモデルやパイプラインの取り回しに関するコンポーネント。 MLflow Models を使うことで、たとえば学習済みモデルの Serving やシステムへの組み込みが容易になる可能性がある。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G73 $ python -V Python 3.8.5 $ pip list | egrep "(mlflow|lightgbm|scikit-learn)" lightgbm 3.0.0 mlflow 1.11.0 sc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hydra, MLflow, Optunaの組み合わせで手軽に始めるハイパーパラメータ管理
What I learned from looking at 200 machine learning tools
実験管理について考える - Re:ゼロから始めるML生活
Vivaldiのコマンドチェインやブックマークレットのススメ
MLOpsとBERTによる機械学習パイプラインの自動化とその効果
FastAPIとTensorflowで簡単な画像認識APIを作ってみた - Qiita
Fine-Tune Whisper For Multilingual ASR with 🤗 Transformers
LLMは「複合AIシステム」へ進化する、データブリックスCTOの主張を読み解く
バクラクOCRにおける機械学習モデルの検証から本番投入までの取り組み - LayerX エンジニアブログ
MLflow Tracking を用いた実験管理 / ayniy-with-mlflow
2021 Top Trending Machine Learning Topics
Databricksクイックスタートガイド - Qiita
Polyaxon を機械学習の実験プラットフォームとして導入した話 | メルカリエンジニアリング
MLflow と ONNX で実現するクラウドネイティブな MLOps
AWSのマネージドAirflow "MWAA" 所感
MetaflowとMLflowを使った快適ML個人開発 - Qiita
株式会社ABEJAを退職します - Apitore blog
Airflow vs Luigi vs Argo vs Kubeflow vs MLFlow
Hydra, MLflow, Optunaの組み合わせで手軽に始めるハイパーパラメータ管理
【MLOps入門】MLOps概要 - Qiita
「メトリクス収集」「異常検知」「可視化」 LINEがMLOpsのために作ったモニタリング共通基盤「Lupus」
Python: MLflow Models を使ってみる - CUBE SUGAR CONTAINER