【ローカルLLM】text-generation-webUIのAPI機能を試す｜Baku

ローカルLLMをAPI的に使う場合は、llama.cpp（GGUF/GGML）が手軽そう。ただ、大きなモデルではExllama（GPTQ）も使えると便利。 LLM用のウェブUIであるtext-generation-webUIにAPI機能が付属しているので、これを使ってExllama＋GPTQのAPIを試してみた。 公式によると、WebUIの起動時に「--api」（公開URLの場合は「--public-api」）のFlagをつければAPIが有効になる。 まずローカル環境で「--api」を試したところ問題なく利用できた。 ローカルで動かせないモデルも扱えるように、クラウド経由でAPIを使えるようにしておきたい。なので次に「--public-api」も試してみる。 「--public-api」の場合、そのままではエラーで起動に失敗。依存関係「flask_cloudflared」を追加でインストー