RNNでTransformer並みの性能を実現するRWKVがやばい

(本記事は数時間前からRWKVの手法について調べ始めた著者が、手法をまとめるためのメモ書きとして深夜テンション書いたレベルのものです。内容の正確さについて保証しないので各自最後にある参考文献の確認をお願いします。日本語の記事でRWKVの手法について解説されたものが見当たらなかったので、一部僕の見解が含まれますが英語版中国語版の翻訳程度に受け取ってもらえたら幸いです。中国語は一切読めないけど・・・） Introduction 昨今の生成系AIブームの中で、OpenAIが開発するChatGPT、特にGPT4の性能は目を引くものがあります。ですが、そのモデルを動かすための計算資源にも目を引くものがあり、LLaMA.cppなどローカルで動かそうとする試みは存在するにせよ、やはり一般の家庭でしかも現実的な電気代でGPT4を動かすという未来は遠そうです。 さて、そんな話題のChatGPTやGPT4です

[shunkeen]

“Wという小さい行列だけで長距離の単語の依存関係を学習できる”／あえてWをバカデカくしたら、もっと長文を扱えたり、性能上がったりするのかね？

[ys0000]

shi3z氏が紹介してた奴か。 https://www.youtube.com/watch?v=hnkiLlTiG6Y

[wsmfp327]

RNNの逆襲

[hasiduki]

ほーん！！！！！なるほどー！！！！！！

[Finding]

これがほんとだとするとスゲェけど、俺の能力では理解しきれなかった