FastAPIでServer-Sent Eventsを実装する - Qiitallm = OpenAI( model="gpt-3.5-turbo-instruct", ) for chunk in llm.stream("Hello?"): print(chunk) このように非常に簡単に実装可能です。 しかし、これをサーバーサイドとして扱う場合には通常のAPIではなく、リアルタイムな通信処理を実装する必要があります。 この時に有効なのがServer-Sent Eventsです。 Server-Sent Eventsとは Server-Sent Events(以下SSE)とはリアルタイムな通信をHTTP経由で提供する技術です。 似た技術としてはWebSocketがありますが、WebSocketが双方向であるのに対し、SSEはサーバーからクライアントへの単方向通信となっています。 その分扱いが簡単なので、クライアント側からリアルタイムに情報を送る必要がない場合はこち
