WebSocketを用いてChatGPT APIのレスポンスをストリーム送信する - Qiita

はじめに 2023年3月にChatGPTのAPIが公開されて以降、様々なWebサービスが誕生しています。 私も何か作ってみたくなり、dAIaryという日記作成サービスを作ってみました。 午前と午後のできごとを簡単に入力するだけで、AI(ChatGPT)が良い感じに日記を書いてくれるサービスです。結構面白いので試してみてください！ さて、このサービスのバックエンドはAWSを利用し、API Gateway + AWS Lambdaのサーバーレス構成にしていました。クライアントからREST APIリクエストを受け取り、bodyの内容を用いてChatGPTのAPI(gpt-3.5-turbo)を呼び出し、そのレスポンスを返すという動作です。サーバーレスにすることでリクエスト時のみの課金となるため、リーズナブルにサービスを運用できます。 しかしながらChatGPTのAPIは全ての文章の生成が完了して