VQGAN+CLIPでGenerative Artしてみる - Qiita

最近Twitterで見かける機械学習を用いたアート作品が気になっていたので、試してみました。 使ったのはVQGAN+CLIPです。 VQGANとCLIPとは ベクトル量子化(VQ)を用いたVAEである「VQ-VAE」を、敵対的生成ネットワーク(GAN)に発展させた新しい画像生成モデルが「VQGAN」です。このVQGANと、テキストと画像という異なるデータを結びつけるニューラルネットワークの「CLIP」を組み合わせることで、「入力したテキストから画像を生成するモデル」をライアン・モールトンさんが作成しています。 画像生成AIはアートのあり方を変えてしまうのか？-GIGAZINE だそうで、つまりテキストを入力するとそれに合わせてマシンが画像を作ってくれるのです。すごい。 そんでもってそれを誰でも使えるように公開していらっしゃいます。 VQGAN+CLIP (z+quantize method