Transformerの基本 - Qiita

はじめに 今回はTransformerで使用されている技術についてまとめておきます． 初めは自然言語処理に用いられていた構造ですが，画像分野でも大活躍中です． なかなかとっかかりにくい分野ですが，単純なDeepLearning は一通り学べたという人は是非Transformerについて勉強しておきましょう 今回はPowerPointの画像をペタペタ＋αちょこっと説明という形式です． 1 Attention 下図のような🐶の画像があったときに人は背景を無視して🐶だけを注目できますが，CNNでは画像全体に同じ処理を繰り返すため，そういったことはできません． 例えば，以下のような流れのモデルがあるとして，GAPでは背景も含めて画像全体の特徴を平均化します． 勿論大量のデータを使うことで，前景のみを注目するようにはなりますが，CNNで表現するには学習が難しくなっちゃってるんじゃない？という問題