MirrorGANとは 先月(2019年3月)に発表された、GANを使ったテキストから画像を生成する(text to image)研究の論文です。現在、CVPR2019にも承認されているようです。 MirrorGANの本家論文 実装したコードはこちらです! インプットのテキストと生成された画像 ミラー構造 MirrorGANはT2I(text to image)とI2T(image to text)の両方を統合することによってミラー構造となっています。 文章からGANで画像を出力し、それを元に文章を再生成することでT2I生成を学ぶという仕組みです。 MirrorGANの3つのコアモジュールの構造 MirrorGANは、「テキストから画像への再記述学習生成」という3つのモジュールからなリます。 ・ セマンティックテキスト埋め込みモジュール(STEM) ・ カスケード画像生成グローバル - ロ
![[最新論文]MirrorGANをKerasで実装した話 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/01475133e249a7009d78fc9b974ef512fa5b5c33/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZ0eHQ9JTVCJUU2JTlDJTgwJUU2JTk2JUIwJUU4JUFCJTk2JUU2JTk2JTg3JTVETWlycm9yR0FOJUUzJTgyJTkyS2VyYXMlRTMlODElQTclRTUlQUUlOUYlRTglQTMlODUlRTMlODElOTclRTMlODElOUYlRTglQTklQjEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTY3MjU2ZGEwZjQ4MTE5ODE1ZGIyMDdmMTgyOTk4NjQ0%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa29taXlhLW0mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQzOTRiMjYxNDBhMDZhYWNhMWFjNWVhNjgyNTJhN2Ux%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D608861e190a9357157356eb57e1a5e38)