はじめに openai chat completions api(以下ChatGPT API)を使っているが、コストダウンやドメインに特化したfinetuneモデルを使いたいといったニーズでlocal LLMを使いたいというニーズがあると思います。 その場合に、ChatGPT APIを利用する側のアプリケーションコードはそのままで、local LLMをサーバとしてたてて、使用するLLMだけ変えるという実現方法が考えられます。 幾つか良い実現方法があったため、現状、どのようなツールを使用して実現できるか簡単にまとめました。 ところで、偉い人に「うちもChatGPT作って」と言われた時、あなたならどうしますか? (その答えの一つを「おわりに」に書きました) 解説 ChatGPT API互換サーバを作る場合、自分でlocal LLMをラップしてAPIサーバを実装してしまうことも考えられますが、そ
![local LLMをChatGPT API互換サーバとして使う方法まとめ(2023/10版) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9ef3d48f83d32476ae897dc406ae8b1e3df8fac9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9bG9jYWwlMjBMTE0lRTMlODIlOTJDaGF0R1BUJTIwQVBJJUU0JUJBJTkyJUU2JThGJTlCJUUzJTgyJUI1JUUzJTgzJUJDJUUzJTgzJTkwJUUzJTgxJUE4JUUzJTgxJTk3JUUzJTgxJUE2JUU0JUJEJUJGJUUzJTgxJTg2JUU2JTk2JUI5JUU2JUIzJTk1JUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJTI4MjAyMyUyRjEwJUU3JTg5JTg4JTI5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yOTIwODY0OTgyM2IyODEwZDQ4MmNlYzBhNjM2ODkzMg%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwdGFrYWFraV9pbmFkYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NTczZDdmMmVlMzVlZGYxZjA1NzMzMGQzYjFjY2VjNGE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D14422d86cbc72c4c6de2e95678c4a7f9)