ChatGPTのAPIで結果をリアルタイム表示する - Qiita

やりたいこと OpenAIからChatGPT相当のAPIである「gpt-3.5-turbo」が公開されたので色々遊べるようになったと思う。 ただAPI使うと、なんか公式WEB版よりレスポンスが遅いなと感じたことはないだろうか。 実際のところ、公式WEB版は結果がリアルタイムに表示されているので体感速く感じているだけだったりする。 じゃあAPIは完全な文章が生成されるまで指を咥えて待っていなければいけないのかというとそんなことはなくて、APIにストリーミングモードがあるのでそれを使うと以下のようにリアルタイム表示することができる。 今回はそれをTypeScriptで実装してみる。 インストール OpenAIのライブラリだけでも実装は可能だが、なるべく簡単に実装したいのでLangChainのJS版を使用する。実は本家LangChainと作者が同じ。 import { CallbackManag