サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
GPT-4o
qiita.com/enoughspacefor
一番最初に。 この記事ちらかってますので、一番最初に以下のことをことわっておきます。 self-attentionというのは、1種類ではないです。transformerのが有名かもしれませんが。 self-attentionが、単語のembeddingを掛け算して、似たものを反応させていると思われている方がいるかもしれませんが、直接の掛け算は、していない。少なくとも、重みも込みで掛け算しているので、似たものが。。。というような作用はあまり残っていないはず(※1)。また、self-attentionの中でも、かけるものもあれば、かけないものもある。 (※1) 反例。。。ですが、(その19)Self-Attention Generative Adversarial Networks にて、まさに、似た部分に作用の例を追加しました。2022/01/20。だから、重みがあっても、めちゃくちゃにはな
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く