MirrorGANとは 先月(2019年3月)に発表された、GANを使ったテキストから画像を生成する(text to image)研究の論文です。現在、CVPR2019にも承認されているようです。 MirrorGANの本家論文 実装したコードはこちらです! インプットのテキストと生成された画像 ミラー構造 MirrorGANはT2I(text to image)とI2T(image to text)の両方を統合することによってミラー構造となっています。 文章からGANで画像を出力し、それを元に文章を再生成することでT2I生成を学ぶという仕組みです。 MirrorGANの3つのコアモジュールの構造 MirrorGANは、「テキストから画像への再記述学習生成」という3つのモジュールからなリます。 ・ セマンティックテキスト埋め込みモジュール(STEM) ・ カスケード画像生成グローバル - ロ