SA-GANの実装から見る画像のSelf attention自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然言語処理のは出てきても、画像のはあまり情報が出てこなかったので、SAGANの実装から画像におけるSelf attentionを見ていきます。 Self attention GANの略語。論文はこちら。GANの生成画像のクォリティーを上げる手法の一つにSelf attention機構を使っています（ただし、Self attentionだけがこの論文のポイントではない）。 たびたび引用される図ですが、わかりやすいです。ちなみに公式実装では以下のコードにあたります。 https://github.com/brain-research/self-attention-gan/blob/master/non_local.py#L48 ここの「sn_non_local_block_sim」という
