◆多くのLLMで採用されている位置符号化※1であるRotary Position Embedding(RoPE)※2がウェーブレット変換※3の一種であることを解明し、ウェーブレット変換が位置符号化に有効である可能性を示しました。 ◆ウェーブレット変換を応用した独自の位置符号化を開発しました。この位置符号化はLLMの生成性能を改善するだけでなく、LLMの処理可能な長さを超えたテキストも生成可能とします。 ◆従来行っていたLLMの最大系列長拡張のための追加の再学習が不必要となり、学習コスト低減という産業上重要な課題の解決に貢献できます。 日本電信電話株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、ウェーブレット変換を応用したLLMの追加学習なしで決められた長さを超えるテキストを生成できる技術を世界で初めて開発しました。位置符号化はLLM内部における各単語の位置を表
