タグ

2024年6月29日のブックマーク (1件)

  • 【Ollama】ローカル Llama3 日本語環境を整える【8B】|Catapp-Art3D

    はじめに忙しい方のために結論を先に記述します。 日語チューニングされた Llama3 を利用する 日語で返答するようにシステム・プロンプトを入れる 日語の知識(RAG)をはさむ プロンプトのショートカットを登録しておく (小さいモデルなので)ちょっとおバカさんのローカルモデルですが、RAGを利用すると化けます。 おすすめ日語Llama3suzume-llama-3-8b-japanese-gguf LIGHTBLUE氏(社)が公開しているモデルです。公式ドキュメントにはおすすめ設定はありませんが、筆者のモデルファイルは以下のようにしています。参考程度にご利用ください。 FROM の値はダウンロード先のファイルを記載してください TEMPLATE は ollama lama3 のものです temperature 多様性を決めるパラメータです。0の場合は次の単語を予測する際に、もっとも

    【Ollama】ローカル Llama3 日本語環境を整える【8B】|Catapp-Art3D