自然言語処理の巨獣「Transformer」のSelf-Attention Layer紹介全てのTransformer記事はTransformerから始まる「Transformer」概要2017年中旬、Googleが発表した論文「Attention is all you need」で提出されたモデル「Transformer」は、深層学習の自然言語処理(NLP)分野でいまはデファクトスタンダードとして使われています。Transformerは要するに、過去の自然言語処理(NLP)で多く使われる再帰型ニューラルネットワーク(RNN)や畳み込みニューラルネットワーク(CNN)を「Self-Attention Layer」に入れ替えたモデルです。 それ以降、大抵の自然言語処理(NLP)分野で発表された研究や論文は、Transformerで再構築して発表されています。期待を裏切らなく、再構築されたモデルの結果は、以前の結果を上回っています。 Transformerは2017年に公開され、今
最近のDeep Learning (NLP) 界隈におけるAttention事情
