一番最初に。 この記事ちらかってますので、一番最初に以下のことをことわっておきます。 self-attentionというのは、1種類ではないです。transformerのが有名かもしれませんが。 self-attentionが、単語のembeddingを掛け算して、似たものを反応させていると思われている方がいるかもしれませんが、直接の掛け算は、していない。少なくとも、重みも込みで掛け算しているので、似たものが。。。というような作用はあまり残っていないはず(※1)。また、self-attentionの中でも、かけるものもあれば、かけないものもある。 (※1) 反例。。。ですが、(その19)Self-Attention Generative Adversarial Networks にて、まさに、似た部分に作用の例を追加しました。2022/01/20。だから、重みがあっても、めちゃくちゃにはな
Visualizing A Neural Machine Translation Model (Mechanics of Seq2seq Models With Attention) Translations: Chinese (Simplified), French, Japanese, Korean, Persian, Russian, Turkish, Uzbek Watch: MIT’s Deep Learning State of the Art lecture referencing this post May 25th update: New graphics (RNN animation, word embedding graph), color coding, elaborated on the final attention example. Note: The ani
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く