これは、なにをしたくて書いたもの? llama-cpp-pythonを使うとOpenAI API互換のサーバーを立てられることを知ったので、ちょっと動かしてみました。 llama-cpp-python llama-cpp-pythonのGitHubリポジトリーはこちら。 GitHub - abetlen/llama-cpp-python: Python bindings for llama.cpp ドキュメントはこちらです。 llama-cpp-python llama-cpp-pythonは、llama.cppのPythonバインディングです。 GitHub - ggerganov/llama.cpp: Port of Facebook's LLaMA model in C/C++ Llamaを使ったアクセスもできるのですが、 High-level API Python Bindings
![llama-cpp-pythonで、OpenAI API互換のサーバーを試す - CLOVER🍀](https://cdn-ak-scissors.b.st-hatena.com/image/square/b78f6d5050bd5d12f24b59d0f95050ab0090b5cf/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FK%2FKazuhira%2F20231126%2F20231126220907.png)