Retentive Network: A Successor to Transformer for Large Language Models

In this work, we propose Retentive Network (RetNet) as a foundation architecture for large language models, simultaneously achieving training parallelism, low-cost inference, and good performance. We theoretically derive the connection between recurrence and attention. Then we propose the retention mechanism for sequence modeling, which supports three computation paradigms, i.e., parallel, recurre

[misshiki]

論文 “Retentive Network: 大規模言語モデル用の Transformer の後継” 略称がRetNet。性能がすごいと話題みたい。

[razokulover]

これかTransformer越えと噂のモデルの論文は

[secondlife]

本当にこの性能なら革新的すぎるなぁ。論文では学習SetupのGPUにCUDAやTPUではなくAMDのを使っているのも興味深かった。AMDもMLやLLM向けにGPU売りたいもんね。

[stealthinu]

RetNetの論文。O(1)でTransformerと同等性能以上のことができるしメモリも食わないし学習速度も何倍も速いらしい。そんな夢みたいな話ある？ほんとなら2030年以内どころじゃなく人間超えるぞ。