はじめに以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。 touch-sp.hatenablog.com 今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。 「Llama.cpp」と「ChatUI」の使い方はこちらを見て下さい。 touch-sp.hatenablog.com 使い方「Llama.cpp」の実行 ./llama.cpp/server -m llama.cpp/models/stable-code-3b-q5_k_m.gguf -c 2048 -ngl 16 「ChatUI」内の「.env.local」ファイルの中身「.env.local」ファイルの中身を書き換えることが色々なモデルを使用する時の障壁となります。 今回はこのようにしました。