![](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb72b683978760cde12846cf11279ad045078374/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--xpqqHBIN--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%2525E3%252580%252590Transformer%2525E3%252580%252591Residual%252520connection%252528%2525E6%2525AE%25258B%2525E5%2525B7%2525AE%2525E3%252582%2525B3%2525E3%252583%25258D%2525E3%252582%2525AF%2525E3%252582%2525B7%2525E3%252583%2525A7%2525E3%252583%2525B3%252529%2525E3%252581%2525AE%2525E8%2525A9%2525B1%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Atimoneko%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzM4NjZlZGEzNjEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【Transformer】Residual connection(残差コネクション)の話
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Transformer】Residual connection(残差コネクション)の話
当たり前のようにある残差コネクション (引用:https://arxiv.org/pdf/2303.15647.pdf) Transformerには... 当たり前のようにある残差コネクション (引用:https://arxiv.org/pdf/2303.15647.pdf) Transformerには、残差コネクション[1]が設けてある(Add & Normに向かう矢印部分) ☛attentionの部分とfully-connected network(FFN:全結合層)の両方に搭載されている。 attentionの部分側の残差コネクションにフォーカスしてみると, ・Multi-Head Attentionの出力は入力と加算(Add)される。 ・加算後はLayer Normalizationが行われる。 この残差コネクションはモデルが大きくなるほど、大きな役割をもつ。 初期の残差ブロック 論文(Deep Residual Learning for Image Recognition)にて登場 (引用:https://arxiv.org/pdf