Llama-cpp-pythonでOpenAIのChatGPT互換APIサーバを立てる。｜めぐチャンネル

ローカルで色々なLLMを試してきましたが、実際にアプリに組み込むときには、評価用のコードでは色々と面倒です。また、LLM側とアプリ側が密になっているとデバッグ等で再起動が必要な時などにモデルのロードから始まるため、時間の無駄が生じます。確立されたLLMのAPIはOpenAIのAPIでしょう。いくつかのLLM動作環境ではOpenAI互換もあります。今回はLlama-cpp-pythoを使ってOpenAI互換APIサーバを稼働させ、さらに動作確認用としてgradioによるGUIアプリも準備しました。 動作環境 Ubuntu20.04 Corei9 10850K MEM 32GByte GPU Gforce4090 動作検証の結果からまず、この記事で準備したGUIで稼働させたサーバに接続して対話をした時の状態を見ていきます。（コード全体は最後に記載しています） 「台形の面積を求める」