エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
LangChainとFastAPIのストリーミング機能を使って、ChatGPTで生成したテキストをAPIでリアルタイム送信する方法|mah_lab / 西見 公宏
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LangChainとFastAPIのストリーミング機能を使って、ChatGPTで生成したテキストをAPIでリアルタイム送信する方法|mah_lab / 西見 公宏
LangChainでstreamingオプションをつけた生成結果をFastAPI + event-streamで返すデモ pic.twitter.com/... LangChainでstreamingオプションをつけた生成結果をFastAPI + event-streamで返すデモ pic.twitter.com/WcT0FAZj1O — 野生のまーくん🐕🦺 (@mah_lab) March 29, 2023 ソースコードimport threading import queue import uvicorn from fastapi import FastAPI from fastapi.responses import StreamingResponse from langchain.chat_models import ChatOpenAI from langchain.callbacks.base import CallbackManager from langchain.callbacks.streaming_stdout impo