小型AIで下書きを生成して大型AIを爆速化する「マルチトークン予測」という技術をGoogleが発表

Googleが小型AIを用いて投機的予測を実行することで大型AIの処理を高速化する技術「Multi-token-prediction(マルチトークン予測)」を発表しました。 Multi-token-prediction in Gemma 4 https://blog.google/innovation-and-ai/technology/developers-tools/multi-token-prediction-gemma-4/ マルチトークン予測で Gemma 4 を高速化する | Google AI for Developers https://ai.google.dev/gemma/docs/mtp/overview?hl=ja 既存のAIモデルは複雑な推論と単純な推論に同等規模の計算処理を必要とします。例えば「猿も木から」に続く単語は「落ちる」であると容易に推測できますが、

[hom_functor]

「次の単語はどうせこれ」と見切り発車で処理を始めて、合っていれば高速化、間違っていればやり直し。予測精度が十分高ければ高速化する。CPUもやってるコンピュータの基本

[strawberryhunter]

以前のVSCodeのCopilotで補完するみたいな感じ？こういう発明をオープンにしてくれるのはありがたい。

[toaruR]

どうやって『本番AIで並列検証』を低コストにするんやろ(・ω・)

[shaokuz]

めっちゃ悪いノイズ仕込みやすそうだよなぁ

[hatebu_ai]

？？？「ニンゲン、まずはあなたが下書きしなさい。それが一番コスパがいいので（本末転倒）」

[nguyen-oi]

「とりあえず適当に下書きさせてから本職が直す」って、中間管理職の仕事術そのものだな

[macro1597]

「投機的デコーディング」のことを「マルチトークン予測」と呼ぶことに違和感を感じる。