今さら聞けないGAN (5) WGAN-gpの実装 - Qiita
はじめに 前回の記事でwganおよび改良型wgan（wgan-gp）の説明をおこないました。 今回はkerasでの実装のポイントと生成結果について紹介します。 参考にしたコードは以下 tjwei/GANotebooks discriminatorの学習のためのモデル定義 discriminatorの学習のための全体構造（discriminator_with_own_loss）を実装していきます。 WGAN-gpにおける学習では、識別でよく使われる形式 (y_true, y_pred)、つまり、「正解ラベルと予想結果を付き合わせる」といった形式を用いません。binary_cross_entropyなどの既に定義された関数を使うのではなく、損失関数を独自に定義する必要があります。 損失関数を定義して使用する 損失関数を独自に定義し、optimizerに渡して学習させていく手順は以下です。 mo
今さら聞けないGAN（4） WGAN - Qiita
はじめに 前回までの記事で、DCGANへの拡張および、現状のGANの問題点について述べました。今回は、それを解決するための方法としてWGANおよびその改良版（WGAN-gp）について説明します。前回までの記事は以下 今さら聞けないGAN (1) 基本構造の理解 今さら聞けないGAN (2) DCGANによる画像生成 今さら聞けないGAN (3) 潜在変数と生成画像 WGANについて参考になったリンク Wasserstein GAN [arXiv:1701.07875] ご注文は機械学習ですか？ Wasserstein GAN（WGAN）でいらすとや画像を生成してみる Wasserstein GAN と Kantorovich-Rubinstein 双対性 GANの問題点 学習が難しい 勾配消失問題が起こる 生成結果のクオリティを損失関数から判断しにくい モード崩壊が起こる 改良方法 Was
フレンズ画像を生成させてみたい - Wasserstein AutoEncoder - Qiita
GrubCutを使ってそこそこ背景除去ができたので、そのデータを使って画像生成にチャレンジしてみました。今回はGANではなくWasserstein AutoEncoderを使っています。 Adversarial AutoEncoder 当初、Adversarial AutoEncoderの利用を考えていました。これはAutoEncoderをGANのアプローチで実現するもので、一般的なAutoEncoderと異なり画像の特徴を特定の分布に従った潜在空間に埋め込むもので、VAEに近いものと理解しています。 参考: [Survey]Adversarial Autoencoders - Qiita Wasserstein AutoEncoderの符号化器は決定的ではなく確率的である方が潜在変数の次元数がデータの有効次元数と合わない場合でもうまく学習できる（元の論文の主張である生成がシャープになる利
From GAN to WGAN
Date: August 20, 2017 | Estimated Reading Time: 21 min | Author: Lilian Weng [Updated on 2018-09-30: thanks to Yoonju, we have this post translated in Korean!] [Updated on 2019-04-18: this post is also available on arXiv.] Generative adversarial network (GAN) has shown great results in many generative tasks to replicate the real-world rich content such as images, human language, and music. It is i
GANからWasserstein GANへ - Engineering note
generative adversarial network(GAN)からWasserstein generative adversarial network(WGAN)への道の整理をします。 こちらを参考にしました： [1904.08994] From GAN to WGAN From GAN to WGAN 目次 Kullback–Leibler Divergence (KL divergence) と Jensen–Shannon Divergence (JS divergence) Kullback–Leibler Divergence Jensen–Shannon Divergence GAN GANの目的関数 密度比推定との関連 Discriminatorの最適解 What is global optimal? GANの目的関数が意味すること GANの問題点 Wasserste
拡散モデルがモード崩壊しない理由 - Qiita
はじめに GAN（Generative Adversarial Network; 敵対的生成ネットワーク）のモード崩壊は、訓練中のGANがデータセットの多様性全体を捉えることができず、限られた数のサンプルまたは非常に似ているサンプルのみを生成するときに発生する問題を指します。この問題はGANの訓練の難しさとしてよく知られています。 モード崩壊の原因としては次のようなものが考えられています。 敵対的なフィードバックの不均衡： 生成器が特定のサンプルをうまく生成できると、それを繰り返し生成することで識別器を欺くのが簡単になる場合があります。その結果、生成器はデータセットのその他の多様性を学ぶ動機を失うことがあります。 学習率の不均衡： 生成器と識別器の学習率や更新速度が不均衡であると、モード崩壊が発生しやすくなります。 一方、2023年に流行している拡散モデルではモード崩壊するといったことはほ
StyleGAN-T
StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-Image Synthesis TL;DR: GANs achieve state-of-the-art results in fast text-to-image synthesis. Text-to-image synthesis has recently seen significant progress thanks to large pre-trained language models, large-scale training data, and the introduction of scalable model families such as diffusion and autoregressive models. However,
DCGANで実家のﾈｺﾁｬﾝの画像を生成しようとしたら成れ果てになった (前編) - deepblue
こんにちは、人間です。 ちょっと前に AI による画像の自動生成が話題になってたので自分も似た様なものを作ろうと思いました。 …とは言っても、公開されている既存の製品の様な高性能・高品質なものは技術的にもPCスペック的にも難しいので、己の身の丈にあったレベルの画像生成AIの作成を試みました。 具体的にいうと、我が家で飼ってる猫「こてつ君」の写真 622 枚を生成的敵対的畳み込みネットワーク(DCGAN) に学習させて、こてつ君の写真を自動生成するAIを作ろうとしました。 この記事はその前編です。 導入 生成的敵対的ネットワークとは？ 生成的敵対的ネットーワーク (GAN) とは深層学習の学習手法の一つです。その名の通り、2種類のニューラルネットワークモデルを用意してそれぞれを互いに競わせることで学習させる手法です。特に、畳み込みニューラルネットワークモデルを使用したGANをDCGANと言い
The new contender to GANs: score matching with Langevin Sampling
Last year, Yang Song, a graduate student at Stanford, showed an entirely new way of generating data based on denoising score matching with Annealed Langevin sampling (DSM-ALS). The paper showed that a non-adversarial approach could reach levels similar to GANs (FID of 25, which is what Relativistic GANs reached two years ago). Surprisingly, the paper received little to no attention in the research
自己回帰型モデルの深層学習 - Start Today Technologies TECH BLOG
初めまして、データチームの上月です。 今回はVASILYテックブログ初の論文紹介、テーマは 自己回帰型モデル（Autoregressive, AR）です。 はじめに VASILYではIQONの類似画像検索にAutoencoderを適用しています。 具体的にはアイテム画像で学習したAutoencoderの潜在変数を特徴量として類似画像検索を行っていますが、背景やモデルの影響を受けやすいなどの課題があります。 この問題は「潜在変数にどのような情報を持たせるか」を調整することで解決できる可能性が高く、潜在変数の分布にはdecoderの表現力が関係しています。 最近ではVAEのdecoderとしてRNNや自己回帰型モデルなどといった表現力のあるモデルを用いたり1、 decoderの後にPixelCNN2を追加することで潜在変数がもつ情報を目的にあったものにする例があります（PixelVAE3）。
PyTorch to JAX 移行ガイド（GANの学習｜TrainStateのカスタマイズ編）
背景 第1回: PyTorch to JAX 移行ガイド（MLP学習編） 第2回: PyTorch to JAX 移行ガイド（GPUでのCNN学習 | BatchNorm編） JAXベースのNNライブラリであるFlaxを用いて、PyTorchのコードをJAXに移行する方法を紹介しています。特に今回はGenerative Adversarial Networks (GAN) の学習を取り上げ、flaxにおける便利機能TrainStateのカスタマイズやJAXにおける乱数の扱いについて学びます。 例によってコードはgistにアップロードしてあります。 サンプル: Gaussian MixtureをGANで学習する 学習データの用意 今回は簡単な問題として、1次元、2つ山のあるGaaussian Mixtureを学習する問題を考えましょう import numpy as np from tens
SA-GANの実装から見る画像のSelf attention
自然言語処理でよく使われるSelf-attentionは画像処理においてもたびたび使われることがあります。自然言語処理のは出てきても、画像のはあまり情報が出てこなかったので、SAGANの実装から画像におけるSelf attentionを見ていきます。 Self attention GANの略語。論文はこちら。GANの生成画像のクォリティーを上げる手法の一つにSelf attention機構を使っています（ただし、Self attentionだけがこの論文のポイントではない）。 たびたび引用される図ですが、わかりやすいです。ちなみに公式実装では以下のコードにあたります。 https://github.com/brain-research/self-attention-gan/blob/master/non_local.py#L48 ここの「sn_non_local_block_sim」という
Small objects detection problem
Machine learning is getting in more and more parts of our everyday lives. From the personally served ads and movie recommendations to self-driving cars and automated food delivery services. Almost all modern automated machinery ‘sees’ the world, but not like we do. They have to specifically detect and classify each object in order to see and acknowledge it as we humans do. While all modern detecti
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.renom.jp/ja/notebooks/tutorial/generative-model/WGAN/notebook.html
Boosting image generation by intersecting GANs with Diffusion models
WaveFit: An Iterative and Non-autoregressive Neural Vocoder based on Fixed-Point Iteration
xl-sr/projected_gan – Run with an API on Replicate
https://cmsa.fas.harvard.edu/wp-content/uploads/2018/06/David_Gu_Harvard.pdf
GAN and EBM: A Unified Framework
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models