はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 一番最初に。 この記事ちらかってますので、一番最初に以下のことをことわっておきます。 self-attentionというのは、1種類ではないです。transformerのが有名かもしれませんが。 self-attentionが、単語のembeddingを掛け算して、似たものを反応させていると思われている方がいるかもしれませんが、直接の掛け算は、していない。少なくとも、重みも込みで掛け算しているので、似たものが。。。というような作用はあまり残っていないはず（※1)。また、self-attentionの中でも、かけるものもあれば、かけないも