自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然言語処理のは出てきても、画像のはあまり情報が出てこなかったので、SAGANの実装から画像におけるSelf attentionを見ていきます。 Self attention GANの略語。論文はこちら。GANの生成画像のクォリティーを上げる手法の一つにSelf attention機構を使っています(ただし、Self attentionだけがこの論文のポイントではない)。 たびたび引用される図ですが、わかりやすいです。ちなみに公式実装では以下のコードにあたります。 https://github.com/brain-research/self-attention-gan/blob/master/non_local.py#L48 ここの「sn_non_local_block_sim」という
![SA-GANの実装から見る画像のSelf attention](https://cdn-ak-scissors.b.st-hatena.com/image/square/f297d0978e04deb3e5bcef55cb193eab9019d6c4/height=288;version=1;width=512/https%3A%2F%2Fblog.shikoan.com%2Fwp-content%2Fuploads%2F2019%2F08%2Farticle_self_attention1.png)