SageMakerのエンドポイントを呼び出すAPIをFastAPIを使って非同期処理させる - Qiita

はじめに AWSのSageMakerに設置した推論エンドポイントを呼び出すAPIを実装するにあたって、推論処理に時間が掛かるため、API側を非同期処理させたいという要件がありました。 上記の要件を満たすためにFastAPIを使って非同期処理をするように対応したので、その際のメモ書きになります。 ちなみにこちらにあるようにSageMakerのエンドポイントは60秒以内にレスポンスを返す必要があるので、注意しましょう。 準備 はじめにSageMaker上に推論処理を行うエンドポイントの設定を行います。 今回はサンプルとして以下のようなコードを推論処理のエンドポイントとして設定します。 リクエストを受けると5秒間スリープしてメッセージを返却する単純な処理になります。 スリープする部分で時間のかかる推論処理を行うイメージです。 from fastapi import FastAPI from ti