vLLMのSpeculative Decodingによる推論高速化を試す

はじめに この記事では、Speculative DecodingによるLLMの推論高速化をvLLMで試し、簡単なベンチマークを行った結果を共有します。 Speculative Decodingについて 最初に、Speculative Decodingについて簡単に解説します。 Speculative Decodingとは、大型のモデルの推論をする際、より小型のモデルを利用して推論を高速化する手法です。この本来の出力を得たい大型のモデルをTarget Model、高速化のための小型のモデルをDraft Modelと言います。 Speculative Decodingでは通常の推論とは違い、推論の際にまず小型のDraft Modelが一定のDraft Tokens分の生成を行い、候補となるトークン列を提案します。その後Target ModelはこのDraft Tokensに対して確率分布を元に

[sh19910711]

"推論の際にまず小型のDraft Modelが一定のDraft Tokens分の生成を行い、候補となるトークン列を提案 / Target Modelによって受理された先頭部分は採用し、不採用となった位置の直後のトークン（Bonus Token）だけをTarget Modelが生成"