はじめまして。AI システム部の @moajo です。 普段はインフラからフロントエンドまで幅広く MLOps しています。 弊社 AI システム部のとあるプロジェクトで、老朽化した機械学習推論パイプラインを Airflow と SageMaker を組み合わせて再構築しました。 この記事では、新しい推論パイプラインの開発を通して得られた知見と、その具体的な実装についてご紹介します。 具体的なコード例を多めに載せているので、参考になれば幸いです。 この記事には以下のようなことが書いてあります。 システム全体像と得られた知見 SageMaker batch transform の使い方 Airflow の使い方 この記事ではなんとなく以下を知っていることを前提とします。 Airflow とは何か SageMaker とは何か 背景 このプロジェクトでは、以前から以下のような推論プロセスが運用
![Airflow と SageMaker で構築する推論パイプライン | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/beaddafb837729bb091b8e5c90b811b2efc14596/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2019%2F12%2Fairflow-sagemaker%2Fcover.png)