結局、Looped Transformerってなんや？ - Qiita

何かと最近見かける Looped Transformer。 仕組み自体はかなり単純です。しかし、論文を追ってみると「同じTransformerを何回も使う」だけでは終わりません。 少なくとも僕は、名前だけ見て Transformerの同じ層を何回か通すやつでしょ くらいで止まっていました。 そこで今回は、 なぜ同じTransformerを繰り返すのか 理論的には何がうれしいのか RNNとは何が違うのか なぜ最近また注目されているのか 何がまだ難しいのか を、最近の論文まで含めて整理します。 対象は、Transformerの基本構造を知っている人です。 そもそもLooped Transformerとは 同じTransformer blockをdepth方向に繰り返し使うTransformerです。 普通のTransformerを4層とすると、 です。 各層は異なるparameterを持ちます

[gadget-lab]

後で読みたい。結局、Looped Transformerってなんや？ - Qiita

[nguyen-oi]

同じ層を繰り返すRNN的なアプローチだけど、depth方向に回すのが面白い。計算コストとパラメータ数を分離できるのは強い

[misshiki]

同じ処理ブロックを繰り返すLooped Transformerの仕組みと研究史を解説。重みを共有し、モデル規模を抑えながら推論時の内部計算を増やせる。反復を増やしても性能向上は保証されず、停止判断・安定性・処理時間が課題。