llama.cpp による transformersモデル の量子化｜npaka

「llama.cpp」による「transformersモデル」の量子化の手順をまとめました。 ・M3 Max 1. Llama.cppのインストールLlama.cppのインストール手順は、次のとおりです。 (1) Xcodeのインストール。 「Llama.cpp」は、インストール時に環境にあわせてソースからビルドして利用するため、MacではXcodeのビルドツールが必要になります。 (2) リポジトリのクローン。 $ git clone https://github.com/ggerganov/llama.cpp $ cd llama.cpp(3) ビルド。 $ make(4) llama.cppフォルダのあるフォルダに移動。 今回は、llama.cppフォルダのあるフォルダで作業します。 $ cd ..2. 変換するtransformersモデルの準備今回は練習用に「meta-llama