TransformerをRWKVに変換する手法について

TransformerをRWKVに変換する技術めも そもそもRWKVって何？ RWKV（Receptance Weighted Key Value）は、BlinkDL氏を中心とした約9,000人+のコミュニティメンバーで研究・開発されているオープンソースのLLMアーキテクチャです。現在の最新版は「RWKV-7 "Goose"」で、伝統的にアーキテクチャのメジャー更新ごとに鳥の名前が付けられています。 自分は、v4からメンバーに入りました。 従来のTransformerとの違い 一般的なTransformerの処理フローはこのようになっていまして Transformerのアテンション機構では、Query（Q）、Key（K）、Value（V）を使ってソフトマックスを計算します： \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{

[misshiki]

“Transformerから.オープンソースのLLMアーキテクチャRWKV（Receptance Weighted Key Value）への変換は、計算効率と推論性能のトレードオフを考慮したアプローチ。特定の用途では大きなメリットを提供できる技術として研究中”

[sh19910711]

"前の記憶をいい感じに忘れながら、新しい情報を圧縮して追加する / MLPが知識の中核を担っているなら、アテンション機構の変更は「情報へのアクセス方法」を変えるだけで、知識そのものは保持されるはず"