【llama.cpp】補助モデルやFastAttentionは高速化の効果があるのか

はじめに この記事では、Georgi GerganovさんのXに投稿されたllama.cppの推論速度の高速化手法を試し、その結果をまとめたものです。 背景 Georgi GerganovさんのXにて、llama.cppを補助モデルを使って高速化する方法が紹介されました。 Georgi Gerganovさんのポスト スクショのみで細かい説明はありませんでしたが、以下の2点が高速化に寄与するということのようです。 補助モデルに1.5Bモデルを用いる FastAttention(FA)を利用する この記事では、それぞれの機能を使った場合と使わなかった場合の動作速度、アウトプットの差を評価しています。 忙しい人向けのまとめ 結論としてはどちらも有効です。 とりあえずfastAttentionは有効にしておいて、小さいモデルが用意できるなら補助モデル使うのはアリだと思います。 補助モデルはメインモ