Metalによるllama2 13B chatの高速実行｜JohnK.Happy実行環境 Macbook Pro 16 M1 Max 32 core gpunpakaさんの記事ではmetal利用の高速化の影響が確認できなかったとのことでしたが私の環境ではmetalを使った方が高速化したので報告しておきます。 llama.cppのリポジトリはクローン済の前提でバージョン的には下記のコミットのあたりを含む最新バージョンです llama-2-13b-chat.ggmlv3.q4_0.binのWeightはwgetでダウンロード済。 ビルドとかも野良スクリプトでLLAMA_METAL=1で実行しました。 llama.cppクローンとビルドとモデルダウンロード# Clone llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp # Build it LLAMA_METAL=1 ma
