Gradio と LangChain でレスポンスがストリーミング出力される Chatbot を作る Gradio と LangChain を使うことで簡単に ChatGPT Clone を作ることができますが、レスポンスをストリーミング出力する実装サンプルがあまり見られなかったので、参考文献のコードを参考に、色々寄せて集めて見ました。同時リクエストがあった場合の挙動を確認していないため、あくまでお一人様用ということになります。 前提条件 langchain==0.0.212 openai==0.27.0 gradio==3.36.1 ソースコード from typing import Any from langchain.prompts.chat import ( ChatPromptTemplate, MessagesPlaceholder, SystemMessagePromptTe
![Gradio と LangChain でレスポンスがストリーミング出力される Chatbot を作る - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1cad6ec3695c153a3378e80d63ba3d343c0e2a38/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9R3JhZGlvJTIwJUUzJTgxJUE4JTIwTGFuZ0NoYWluJTIwJUUzJTgxJUE3JUUzJTgzJUFDJUUzJTgyJUI5JUUzJTgzJTlEJUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgxJThDJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgzJUJDJUUzJTgzJTlGJUUzJTgzJUIzJUUzJTgyJUIwJUU1JTg3JUJBJUU1JThBJTlCJUUzJTgxJTk1JUUzJTgyJThDJUUzJTgyJThCJTIwQ2hhdGJvdCUyMCVFMyU4MiU5MiVFNCVCRCU5QyVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MDI3MzhiMjY5MGE3ZTJjYWFiMmVjYTU0ZGYyODgwMzY%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwaGlkZWtpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1kZDBjYzAwYWE4ODQyMGNlZTA3M2RjMjQzZGFmZDFjYw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D05fd54b82397721546a72d2a59f805ca)