サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
ブックレビュー
qiita.com/TeamN
この頃、バカンスシーズンなのか、ネタ切れなのか、画像向けTransformer論文が一息ついているので、ここでちょっと振り返ってみる。 2017年: そもそもの始まり Attention Is All You Need 自然言語向けに2017年に出たこのGoogle論文で、Attention構造が自然言語の方であっという間に広がる。 当然ながら、この流れで、計算量がかかるAttention部分がどんどんと違う手法で置き換えられた論文が増えてくる。 2019年: 画像認識にうっすらと浸透 画像認識でもConvolutionの代わりにAttentionが使われ始めたので、論文まとめ この記事で書いたように、ConvolutionをAttentionに変えようという論文が2019年からチラホラと出てくる。 この頃は、まだおっかなびっくりAttention構造に取り換えてもいけるぞ、とか、精度変わ
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く