はじめに忙しい方のために結論を先に記述します。 日本語チューニングされた Llama3 を利用する 日本語で返答するようにシステム・プロンプトを入れる 日本語の知識(RAG)をはさむ プロンプトのショートカットを登録しておく (小さいモデルなので)ちょっとおバカさんのローカルモデルですが、RAGを利用すると化けます。 おすすめ日本語Llama3suzume-llama-3-8b-japanese-gguf LIGHTBLUE氏(社)が公開しているモデルです。公式ドキュメントにはおすすめ設定はありませんが、筆者のモデルファイルは以下のようにしています。参考程度にご利用ください。 FROM の値はダウンロード先のファイルを記載してください TEMPLATE は ollama lama3 のものです temperature 多様性を決めるパラメータです。0の場合は次の単語を予測する際に、もっとも
![【Ollama】ローカル Llama3 日本語環境を整える【8B】|Catapp-Art3D](https://cdn-ak-scissors.b.st-hatena.com/image/square/795837ec7c719d9814cc2ac9d2f843fe2d3bc415/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F140430095%2Frectangle_large_type_2_5b5e235f6a879b87dbe6c5278b88afaf.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)