機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ
みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job
AutoML Tablesの学習済みモデルをSageMakerにデプロイする - Qiita
はじめに 注意：この記事は2019/11/22時点での情報です。 LIFULLでは機械学習のサービング基盤にSageMakerを利用しています。 一方、LIFULLでは、データがBigQueryに集約される方針で、実際に集約されつつあるので、BQのデータを手軽に渡せるAutoML Tablesは簡単に試せて便利です。 AutoML Tablesにモデルのエクスポート機能がついたので、SageMakerのような別の環境で動かすできるようになりました。 エクスポート機能の使い方は公式に書いてあります。 LIFULLではメインサービスがAWSで動いているためデプロイはAWSである方が都合が良いです。 ですので今回は、AutoML Tables公式のDockerイメージをSageMakerで動くようにしてみました。 やったこと 要件の確認 SageMakerで動くDockerイメージの要件は最低以
Airflow と SageMaker で構築する推論パイプライン | BLOG - DeNA Engineering
はじめまして。AI システム部の @moajo です。 普段はインフラからフロントエンドまで幅広く MLOps しています。 弊社 AI システム部のとあるプロジェクトで、老朽化した機械学習推論パイプラインを Airflow と SageMaker を組み合わせて再構築しました。 この記事では、新しい推論パイプラインの開発を通して得られた知見と、その具体的な実装についてご紹介します。 具体的なコード例を多めに載せているので、参考になれば幸いです。 この記事には以下のようなことが書いてあります。 システム全体像と得られた知見 SageMaker batch transform の使い方 Airflow の使い方 この記事ではなんとなく以下を知っていることを前提とします。 Airflow とは何か SageMaker とは何か 背景 このプロジェクトでは、以前から以下のような推論プロセスが運用
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
