Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita

08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ

[diveintounlimit]

＼(・ω・＼)SAN値!(/・ω・)/ピンチ!

[napsucks]

(」・ω・)」うー！(／・ω・)／にゃー！ // これはすごい。SACNとか気になる。

[clannad35]

畳み込んでんならタイトル変えてよ

[sakana315]

もう何でもかんでもself-attentionだな

[denqueue]

Self-Attentionに関するPFN岡野原氏の解説記事(2018年) https://xtech.nikkei.com/atcl/nxt/mag/rob/18/00007/00006/

[fishma]

ここまでブックマークした人たち、何人が文章を理解できるんだろう？俺？もちろんできないよ

[peperon_brain]

これ気になってるんだけどまだ(俺レベルでもハンドリングできる)情報が少ない。VGGのファインチューニング並に手軽に試せるようになったら起こして……(永眠)

[blueboy]

　畳み込み　→　　https://postd.cc/how-do-convolutional-neural-networks-work/ 　幾何学的な処理。／　self-attention　→　https://j.mp/32G8H91　　自然言語処理で使われ、関係を行列で示す。幾何学よりも抽象的。それを画像処理にも適用。

[augsUK]

Attention Is All You Need. が画像分野にも。なんか音声認識だけ最適解がないまま遅れてってるような

[richard_raw]

さっぱりわからないがブックマーク。

[harumomo2006]

なるほど、わからん

[aosiro]

なるほど！なるほどなるほどなるほどな！

[aox]

⊙ ←なんですかこれ

[kastro-iyan]

なるほど、分からん

[Cru]

言語解析のネットワークが画像に使えるのかー。GANに応用されると恐ろしいレベルのfakeが生成されるようになったりしないよな

[Nyoho]

self-attentionすごいな。元々NLPで生まれたんだけど、ここまで広く適用できるとは。

[blogpants]

ｶﾝｹｲｶﾝｽｰδ(⋅,⋅)α(⋅,⋅)ﾃﾝｶｲｯ!!

[SndOp]

すごい。最初からまったく理解できない。/旧来の画像認識でDFTを使うのは周波数スペクトルの比較で近似かどうかを判断するためと思うけど、、、SAが理解できず、もう一度読み直してもわからない。

[Expway]

なるほどわからん

[acealpha]

その物体（画像）が何者か、によって使われるフィルタが変わるってのは人間に置き換えるとすごく利にかなってる感じはあるね

[nisisinjuku]

わかんねｗ

[idainahikikomori153]

丁寧に説明してくれてありがとうございます。私の頭が悪いせいで全然わかりませんでした。

[hzenonn]

タイトルの付け方がうまい

[daishi_n]

SAN値なのかストレージなのか

[aceraceae]

個人的にはいろいろタイムリーな記事

[misshiki]

“Self-Attentionで特徴量抽出を行う画像認識モデル”

[ssuenaga]

読んだらINTチェック

[shikiarai]

忙しい人向けだけ見てほんとか〜？って懐疑的な目で見て終わった

[sjn]

「SANでチェックして」「どっちの？」

[kekera]

kerasにモデルが実装されたら試してみたい

[knok]

0章のpatchwise SAの式がpairwiseと同じになってたので編集リクエストを送った/採用された。みんな式読んでないんだろうか…

[maketexlsr]

おおおお、概念として自分の仕事に使えまくる部分ありそう。しっかり考えてみる。何故そうなるのか理論的裏付けが欲しい！

[kowa]

完全にSAだけで作られたネットワークの初期層はどんな受容野形状なんだろう？ガボールなのかしら。また色輝度で随分違うだろうなあ