LangChainをAPI化するLangServeをLambda上で動作させるのはめちゃ簡単デス - Qiita

少し前にLangChain開発元から新しいツールとしてLangServeというものがリリースされています。 LangServe is the easiest and best way to deploy any any LangChain chain/agent/runnable. 生成系AIを使ったAPIを簡単に作成し利用できる仕組みで、プロダクション環境でどんどんLangChainを使ってねというメッセージと捉えました。 イメージとしてはこんな仕組みです。 FastAPI上で動作し、API仕様が定められている感じです。 Invoke API 単一の入力で処理を実行する Batch API 複数の入力で処理を実行する Stream API 単一の入力で処理を行い、結果をストリームで返却する Stream_log API 単一の入力で処理を行い、結果だけでなく途中の経過もストリームで返却す

[sh19910711]

"LangServe: 生成系AIを使ったAPIを簡単に作成し利用できる仕組み + FastAPI上で動作 / Lambda Web Adapter: AWS製 + FastAPIのLambda化を行う便利なライブラリー / Lambda: Python 3.12ランタイムはBoto3のバージョンが1.28.72のため、Bedrockに対応"