はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この頃、バカンスシーズンなのか、ネタ切れなのか、画像向けTransformer論文が一息ついているので、ここでちょっと振り返ってみる。 2017年：　そもそもの始まり Attention Is All You Need 自然言語向けに2017年に出たこのGoogle論文で、Attention構造が自然言語の方であっという間に広がる。 当然ながら、この流れで、計算量がかかるAttention部分がどんどんと違う手法で置き換えられた論文が増えてくる。 2019年：　画像認識にうっすらと浸透 画像認識でもConvolutionの代わりにAtt