エントリーの編集

エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Llama-cpp-pythonでOpenAIのChatGPT互換APIサーバを立てる。|めぐチャンネル
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Llama-cpp-pythonでOpenAIのChatGPT互換APIサーバを立てる。|めぐチャンネル
ローカルで色々なLLMを試してきましたが、実際にアプリに組み込むときには、評価用のコードでは色々と面... ローカルで色々なLLMを試してきましたが、実際にアプリに組み込むときには、評価用のコードでは色々と面倒です。また、LLM側とアプリ側が密になっているとデバッグ等で再起動が必要な時などにモデルのロードから始まるため、時間の無駄が生じます。確立されたLLMのAPIはOpenAIのAPIでしょう。いくつかのLLM動作環境ではOpenAI互換もあります。今回はLlama-cpp-pythoを使ってOpenAI互換APIサーバを稼働させ、さらに動作確認用としてgradioによるGUIアプリも準備しました。 動作環境 Ubuntu20.04 Corei9 10850K MEM 32GByte GPU Gforce4090 動作検証の結果からまず、この記事で準備したGUIで稼働させたサーバに接続して対話をした時の状態を見ていきます。(コード全体は最後に記載しています) 「台形の面積を求める」