先読みを用いたLLMの文章生成の高速化 - NTT Communications Engineers' Blog

こんにちは、イノベーションセンターの加藤です。普段はコンピュータビジョンの技術開発やAI/機械学習（ML: Machine Learning）システムの検証に取り組んでいます。一方で、兼務1で大規模言語モデル（LLM: Large Language Model）について調査を行なっており、特にLLMの推論や学習の高速化に関心を持っています。 今回は、小さな言語モデルによる先読みを活用してLLMの文章生成を高速化する手法（Assisted Generation2, Speculative Sampling3などと呼ばれています）についてご紹介します。 LLMの推論は計算コストが高く、文章生成の遅さが課題としてよく挙げられています。特に日本語はトークンあたりの文字数が少なく、ChatGPTのようなストリーム出力でもかなり生成が遅く感じるかと思います。 これに対して、いくらか余分にメモリを利用し

[roirrawedoc]

さっさとIMEに搭載してくれ

[hageatama-]

はー、かしこい　"小さなモデルでいくつか「先読み」してからLLMでそれを検証するAssisted Generationという手法"

[sh2]

すごい