日本語LLMを使えるAPIサーバーをローカルで動かす - HAROLABO Tech Blog

猫も杓子もLLMの時代、一家に一台はLLMサーバーを持っておかないといけません。 というわけで、LLMを使えるAPIサーバーを立ててみました。 準備 APIの使い方 ストリーミングで使う 日本語LLMはELYZAさんのLlama-3-ELYZA-JPを利用しました。 note.com huggingface.co Hugging Faceに記載されている通りに実行すれば、LLMをローカルで動かすことができます。 LM Studioというツールがあり、そのツールを使うと、モデルのダウンロードから、チャット利用、APIサーバーの起動までできますので、簡単に動かすことができます。 準備 LM Studioをインストールする。 https://lmstudio.ai/ 左メニューからDeveloperを選択し、APIサーバーモードにする。 モデルをダウンロードする。 上部のSelect a mod

[stealthinu]

LM StudioでOpenAI API互換のAPIを動かすには左下のモードを「Developer」にするだけでいいみたい。設定とかで行うのかと思ってたわ。