画像生成も畳み込まない！TransformerによるGAN「TransGAN」誕生&解説！ - Qiita

0. 忙しい方へ CNNから完全に解放された画像生成のGANを目指したよ TransGANは生成器(G)にも識別器(D)にもTransformerのエンコーダを用いているよ TransGANで高い性能を得るには次の4つが欠かせないよ データオーギュメンテーション 超解像タスクを用いたCo-training Self-Attention(SA)の適用範囲の調整 スケールアップ STL-10では、CNNベースのGANの性能を超えState-of-the-Art(SoTA)な性能を叩き出したよ 1. TransGANの説明 1.1 Transformerエンコーダ 画像: "TransGAN: Two Transformers Can Make One Strong GAN", Jiang, Y., Chang, S., Wang, Z. (2021) TransGANはTransformerの

[misshiki]

“畳み込みは全く用いずTransformerのみで画像を生成する、TransGANです。しかもSTL-10の画像生成においてはCNNベースのGANを打ち破りState-of-the-Art(SoTA) な性能を示しています。”