Llama.cpp で Llama-3.1-70B-Japanese-Instruct-2407 を試す｜npaka

「Llama.cpp」で「mmnga/Llama-3.1-70B-Japanese-Instruct-2407」(Q8_0)を試したのでまとめました。 ・M3 Max 128GB 1. Llama-3.1-70B-Japanese-Instruct-2407「Llama-3.1-70B-Japanese-Instruct-2407」は、「meta-llama/Meta-Llama-3.1-70B-Instruct」をベースにした日本語の継続的事前学習済みモデルです。 2. Llama.cppでの実行「M3 Max 128GB」での実行手順は、次のとおりです。 (1) Llama.cppをクローンしてビルド。 git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp make -j(2) モデルのダウンロード。 今回は