音声認識モデルWhisperを投機的デコーディングで高速化する - NTT docomo Business Engineers' Blog

こんにちは、イノベーションセンターの加藤です。この記事では、Transformerベースの言語モデルで利用可能な高速化技術である投機的デコーディング(speculative decoding)を用いて、音声認識モデルのWhisperの高速化を検証したのでその結果を紹介します。 投機的デコーディングとは Whisperとは 実験 英語音声 (LibriSpeech) の結果 日本語音声 (Common Voice 17.0 日本語サブセット) の結果 まとめ 投機的デコーディングとは 大規模言語モデル(LLM)をはじめとするTransformerベースの言語モデルは、これまでの単語列から次に現れそうな単語を予測することを繰り返して文章生成を行なっています。 これに対し、元のモデルよりも軽量な言語モデルの出力を下書きとして利用することで、元のモデルの出力を完全に再現しながら文章生成を高速化する

[Kesin]

LMStudioに実装されてた投機的デコーディングの話の雰囲気が何となく分かった。予測が当たれば早くなる余地があるけど、逆に当たらないと遅くなる可能性もあるのか

[misshiki]

“LLMの文章生成に使われている高速化手法のspeculative decodingを音声認識モデルに適用するとどれくらい高速化できるのか検証しました。 結果、一部の条件下では速くなることがわかりましたが万能ではなく”

[sh19910711]

"人間が予測変換を活用しながら文章を入力するのと似た流れ / 投機的デコーディング: 元のモデルよりも軽量な言語モデルの出力を下書きとして利用 + 数単語先まで予測してから元の大きなモデルでその予測を検証"