MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
機械学習基盤をGKE Autopilotに移行してコストを削減した - LIVESENSE ENGINEER BLOG
リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとはノードやポッドを自動で管理してくれるクラスタです（詳しくはGoogleのブログをご覧ください）。この記事ではなぜAutopilotクラスタに移行したのか、移行する上でどんな作業が必要だったかという話を書きます。 なぜAutopilotクラスタに移行したのか 高額なノードが複数立ち上がる問題 system podが原因？ StandardクラスタとAutopilotクラスタの違い 検証 移行に必要だった作業 Argo WorkflowsのExecutorを変更した メモリ不足が発生したためres
機械学習バッチ実行環境を整備した話 - pixiv inside
はじめまして。 機械学習チームにてレコメンドの改善を行っているgumigumi4fです。 本記事では、機械学習チームの取り組みの一環として機械学習等のバッチを含むバッチ実行環境を整備した話について話したいと思います。 今までのバッチ実行環境 機械学習チームではピクシブ会社全体のサービスにおけるアイテムのレコメンド等を主に取り組んでおり、そのロジックは多岐に渡ります。 matrix factorizationを用いた手法 item間共起頻度に基づくシンプルなアイテムの推薦手法 ニューラルネットを用いた手法 これらの計算を行うためのバッチは実装者の好きな手法で実装されており、バッチを行う環境に関しても下記にようにバラバラになっていました。 オンプレの機械学習用マシンに各ユーザー毎に設定したcronでバッチが実行 gitlab-ciのスケジューリングによってバッチが実行 BigQueryで完結す
TransformersのPipelinesで日本語固有表現抽出 - Retrieva TECH BLOG
こんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。 本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。 Transformersとは？ 日本語学習済み言語モデル Pipelines Trainer 固有表現抽出とは？ 実際に日本語NERTを試してみる 必要な各種依存ライブラリのインストール 使用するデータ 日本語固有表現抽出データセットでのFine-tuning Pipelinesを使った固有表現抽出 実行例 おわりに 参考 Transformersとは？ TransformersはHuggingFace社が公開しているPython用ライブラリで、BERTを始めとするTransformer系の言語モデルを使用する際のデファクトスタンダードになっています。また、最
Polyaxon + Kubeflow を利用した効率的な継続的モデルインテグレーション / Continuous ML Model Integration with Polyaxon and Kubefolow Pipelines
第9回 MLOps 勉強会 Tokyo (Online)： https://mlops.connpass.com/event/215133/ でトークした際の資料です
Vertex Pipelines で動く Kubeflow Pipelines のサンプルを公開しました - Repro Tech Blog
Repro AI Labs で Software Engineer として働いている杉山阿聖です。Repro では機械学習の基盤として GCP を用いています。今回は Google I/O 2021 で発表された Vertex AI のサービスのひとつである、機械学習パイプラインの構築・運用を行える Vertex Pipelines で動かせるサンプルを作成したのでその紹介をします。サンプルは次のリンクからお試しください。 reproio/lab_sample_pipelines この記事ではまず、機械学習パイプラインの主な要件について述べます。次に、機械学習パイプラインの構築で用いられる Kubeflow Pipelines について概要を述べます。最後に、機械学習パイプラインの構築にあたり理解が必要な Kubeflow Pipelines の仕様について、今回作成したパイプラインを例に
ジョブ渋滞に機械学習でたちむかってみた 〜 広告レポート改善事例 #機械学習
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフー広告 ディスプレイ広告の植木です。代理店様や広告主様に向けた広告効果のレポート機能のバックエンド開発を担当しています。 先日、 Yahoo! JAPAN Tech Conference 2019 in Shibuyaにて「YDNレポートジョブ渋滞に機械学習でたちむかってみた」というタイトルで、処理待ち時間を改善する取り組みの経緯について発表してきましたのでその内容をご紹介します。 取組みに至った経緯 レポート作成は数秒で終わるものもあれば、数時間に及ぶものまであるため、作成処理と作成リクエスト受付WebAPIとを分離し、Message Queueを用いた非同期の仕組みを採用しています。 特定の広告アカウント（広告
機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ
こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ
Argo Workflow による機械学習ワークフロー管理
2019/06/27 Data Pipeline Casual Talk #3
機械学習プロジェクトを頑健にする施策 ML Ops Study #2
https://ml-ops.connpass.com/event/83919/
AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する - 午睡二時四十分
動機とやったことの概要 AWS Step FunctionとLambdaでディープラーニングの訓練を全自動化する from mizugokoro スポットインスタンスで学習をして、無駄なくインスタンスを止めたい Step Functionsへの入力を変えるだけで様々な条件での学習を実行させたい 機械学習のコード自体にこのStep Functionsへの依存性は持たせなくて良い方針で作ったので、ディープラーニング以外のバッチ処理でも同じように使えるはず 詳細 Lambdaに付与する権限 たぶん以下くらいの権限がLambda実行時に必要。 AWSLambdaAMIExecutionRole AmazonS3FullAccess AmazonEC2SpotFleetRole AWSLambdaBasicExecutionRole AmazonSNSFullAccess EC2ReadOnly (
Scala製の機械学習サーバApache PredictionIOを使ってみよう - たけぞう瀕死ブログ
PredictionIOはSparkを中心としたJVMベースの機械学習アプリケーションを開発・運用するために必要なミドルウェアやフレームワークなどを統合的に提供するもので、開発者はPredictionIOのフレームワークに従ってエンジンを作成することで、機械学習を使用したアプリケーションをWebサービスとしてデプロイすることができます。 まずはPredictionIOのWebサイトに掲載されているレコメンデーションのテンプレートを動かしてみます。 PredictionIOのインストール ドキュメントを見るとソースからビルドするべしとなっており中々スパルタンな感じです。Dockerで動かすこともできるようですが、折角なのでソースからビルドしてみることにします（Javaは予めインストールしておく必要があります）。 まずはこちらから現時点で最新版の0.11.0-incubatingの配布物をダウ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
toward airflow without pain
