【ローカルLLM】llama.cppの量子化バリエーションを整理する｜Baku
「llama.cpp」はMacBookなどでLlamaベースの大規模言語モデルを動かすことを目標とするアプリケーション。一応CPUのみでも実行でき、GPUの非力な環境でも動かしやすい。 llama.cppの量子化モデルllama.cpp(GGML)では量子化によるモデルサイズ縮小が進んでいる。例えば、下記のHuggingFaceのRepoを見ると、GGML量子化モデルは「q4_0, q4_1, q5_0, q5_1, q8_0, q2_K, q3_K_S, q3_K_M, q3_K_L, q4_K_S, q4_K_M, q5_K_S, q5_K_M, q6_K」と多岐にわたる。 Model cardに解説があるものの、専門的で素人にはサイズ以外の違いが分からない。もう少しやさしい説明がないか調べたところ、llama.cppの"quantize"コマンド内に整理されていると知ったので、和訳し
日本語LLMのベンチマーク：「JGLUE」と「Rakuda Benchmark」｜Baku
LINEの「japanese-large-lm-instruction-sft」リリースに関する公式ブログで「Rakuda Benchmark」という日本語LLMベンチマークがモデルの性能評価に使われていた。 これまで日本語LLMのリリースでよく見たのは「JGLUE（日本語一般言語理解評価）」というベンチマーク。何が違うのか簡単に調べてみた。 JGLUE（日本語一般言語理解評価）「JGLUE」は、早稲田大学とYahoo! JAPANが構築・公開したベンチマーク。 ベンチマークの具体的な構成については、以下の記事に詳しい。 この「JGLUE」のスコアでLLMの日本語性能をランク付けしたリーダーボードには、「Nejumi LLMリーダーボード」や、Stability AIによる「JP Language Model Evaluation Harness」がある。 Nejumi LLMリーダーボー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
