infoGANを実装した(い) - akmtn記録
infoGANの論文を読み，MNIST用の実装をPyTorchで行った記録です． 論文は2016年6月に出ているので1年ほど前のもの． [1606.03657] InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets タイトルを日本語訳すると，「情報量を最大化する敵対的生成ネットワークによる解釈可能な表現の学習」でしょうか． infoGANの特徴 ・GAN ・明快な表現を獲得する ・教師なし学習 ・相互情報量の最大化（隠れ符号と生成画像間の） ・DCGANの一部を変えるだけで作れ，訓練も簡単 相互情報量は，２つの確率変数のうち１つがわかった時に，もう１つの確率変数に関してどれほど推測できるかを示すので，２つが独立な時には相互情報量は０になります．
GAN(Generative Adversarial Networks)を学習させる際の14のテクニック - Qiita
※この記事は"How to Train a GAN?" at NIPS2016を、ここを参考にして、私なりに解釈して、重要そうな部分を引用して翻訳したものです。役に立つことが多かったので共有致します。 ※GANの説明は省略します。G=Generator、D=Discriminatorとして説明します。 ※それぞれのテクニックに根拠はあまり書いてないですが、ほとんどが論文に書いてあった「こうすればうまくいった」というものです。GANの学習がうまくいかないときに試してみると良いと思います。 1. 入力を正規化 (Normalize the inputs) ・DのInput(=Gの出力)となる画像を[-1,1]の範囲に正規化する。 ・Gの出力が[-1,1]となるように、OutputのところをTanhにする。 2. GのLoss関数を修正する (A modified loss function)
シンプルなGANの実装 - akmtn記録
GANの論文を読んだついでにMNIST用に実装しました． ネットワークには，Convolutionを使わず，多層ニューラルネットです．層の数，活性化関数やバッチ正規化などの設定はてきとうです．なのでGANもどきです． がんもどき pytorchで実装したかったので，本家のDCGANのコードを参考にしながら書きました． github.com また，こちらの方の実装も参考にしました．(keras) yusuke-ujitoko.hatenablog.com 結果として，以下のような出力を得ました． それなりに数字には見えますが，１が多い一方，２が少ないという偏りがありました． 一応，コードはここにあります．
Generative Adversarial Networks (GANs) in 50 lines of code (PyTorch)
In 2014, Ian Goodfellow and his colleagues at the University of Montreal published a stunning paper introducing the world to GANs, or generative adversarial networks. Through an innovative combination of computational graphs and game theory they showed that, given enough modeling power, two models fighting against each other would be able to co-train through plain old backpropagation. The models p
Wasserstein GAN Tfug2017 07-12
1. The document discusses Wasserstein GAN (WGAN), a type of generative adversarial network (GAN) that uses the Wasserstein distance rather than Jensen-Shannon divergence. WGAN has improved stability during training over traditional GANs. 2. WGAN trains the discriminator/critic to estimate the Wasserstein distance between real and generated distributions rather than classify samples. The gradient o
できるだけ丁寧にGANとDCGANを理解する - 午睡二時四十分
目的 Chainerの扱いに慣れてきたので、ニューラルネットワークを使った画像生成に手を出してみたい いろいろな手法が提案されているが、まずは今年始めに話題になったDCGANを実際に試してみるたい そのために、 DCGANをできるだけ丁寧に理解することがこのエントリの目的 将来GAN / DCGANを触る人の助けになったり、理解間違ってるところにツッコミがあると嬉しい 本エントリの構成 DCGANの前提となっているGANの論文の要点をまとめる DCGANでGANとの差分として提案されている要点をまとめる DCGANのmattyaさんの実装を読み通して詳細を理解する 1. GANについて GANは、サンプル群と似たような性質を持つ出力を生成するためのフレームワーク 2014年にIan J. Goodfellowらによって提案された 論文: Generative Adversarial Net
はじめてのGAN
今回はGAN（Generative Adversarial Network）を解説していきます。 GANは“Deep Learning”という本の著者でもあるIan Goodfellowが考案したモデルです。NIPS 2016でもGANのチュートリアルが行われるなど非常に注目を集めている分野で、次々に論文が出てきています。 また、QuoraのセッションでYann LeCunが、この10年の機械学習で最も面白いアイディアと述べていたりもします。 “The most interesting idea in the last 10 years in ML, in my opinion.” –Yann LeCun GANは聞いたことはあるけれどあまり追えてないという人向けに基礎から解説していきたいと思います。それでは順に見ていきましょう。 目次 基礎理論 DCGAN 実装 論文紹介 まとめ 基礎理
Deep Convolutional GANs(DCGAN)をkerasで実装して、いらすとや画像を生成する - 緑茶思考ブログ
前回，GANを勉強して実装したので、その取り組みの続きとして、 DCGAN(Deep Convolutional GAN(DCGAN)を実装して遊んでみる。 生成結果はこのようになった。 (2017/9/7 追記) DCGANの論文を読んでみたところ、GANの論文よりも読みやすかった。 またGANのときには省略されていたモデルの構造も書かれていたため実装の難易度が低かった。 （DCGAN著者の実装も公開されているため，パラメータを参考にすることもできる） DCGANの肝は以下の三点だ（と論文で触れられている） deterministicなpooling手法の代わりに、 fractionally-stridedを使っている こと。これにより、ネットワークが自身のdownsamplingを学習可能となった。 全結合層を使っていない こと。convolutional featuresを入力層と出
Generative Adversarial Networks(GAN)を勉強して、kerasで手書き文字生成する - 緑茶思考ブログ
Generative Adversarial Nets（GAN）はニューラルネットワークの応用として、結構な人気がある。たとえばYann LeCun（現在はFacebookにいる）はGANについて以下のように述べている。 “Generative Adversarial Networks is the most interesting idea in the last ten years in machine learning.” GANを始めとする生成モデル系研究は、 これまで人間にしかできないと思われていたクリエイティブな仕事に対して、 機械学習が踏み込んでいく構図なためか、個人的にもワクワクする分野だ。 これまで分類問題を中心に実装してきてそろそろ飽きてきたため， 一番最初のGAN論文を頑張って理解して、 その内容をkerasで実装してみることにする． Generative Adver
Wasserstein GAN（WGAN）でいらすとや画像を生成してみる - 緑茶思考ブログ
Wasserstein GAN，略してWGANと呼ばれる Arxiv: https://arxiv.org/abs/1611.02163 著者によるコード: https://github.com/martinarjovsky/WassersteinGAN このWGANを使って以下のようないらすとや画像を生成したというのが本記事の主旨。 本論文のcontribution 確率分布間の距離を計算するための，従来使われてきた距離指標とEarth Mover(EM) distanceとの比較を行った EM distanceの近似関数を最小化するWasserstein-GANを定義した WGANが既存のGANにおける問題を解決することを示した WGANではdiscriminatorとgeneratorの学習バランスを気にしなくて良い ネットワーク構造も気にしなくて良い mode dropping p
タカハシ春の GAN 祭り！〜 一日一GAN(๑•̀ㅂ•́)و✧ 〜 - ABEJA Tech Blog
ABEJAでリサーチャーをしています高橋です。 昨今 deep learning 界隈では Generative Adversarial Net(GAN) が流行っていて、世はまさにガンガン行こうぜ時代ですね。 GAN を用いると綺麗な絵が作成できたり二つの絵の中間のような絵を生成できたりします。例えばこの論文のような感じです。このように GAN は有用なモデルである一方、最近の GAN では急によくわからない式が出てきたりするので、勉強も兼ねて「一日一GAN」をやってみました。今回読んだ論文のリストは以下です。 EBGAN (https://arxiv.org/abs/1609.03126 ) WGAN (https://arxiv.org/abs/1701.07875) LSGAN (https://arxiv.org/abs/1611.04076) f-GAN (https://ar
Wasserstein GAN (WGAN) - DeepLearningを勉強する人
Wasserstein GAN (WGAN) [1701.07875] Wasserstein GAN ([1701.04862] Towards Principled Methods for Training Generative Adversarial Networks WGANの話の前にこの話がある) Martin Arjovsky氏の実装(Torch) GitHub - martinarjovsky/WassersteinGAN WGANをTensorFlowで実装した github.com 論文まとめ 深く理解しようとするとかなり数学的知識が要求されるので、直感的な理解だけを追っていくことにする. そもそもVAEやGANのアプローチというのは、自分の分布を真の分布に近づけていくというものだが、この分布間の距離/ダイバージェンスの定義の仕方によって、学習の収束性、安定性に差異がある
Wasserstein GAN [arXiv:1701.07875]
概要 Wasserstein GANを読んだ Chainerで実装した はじめに Wasserstein GAN（以下WGAN）はEarth Mover’s Distance（またはWasserstein Distance）を最小化する全く新しいGANの学習方法を提案しています。 実装にあたって事前知識は不要です。 私はEarth Mover’s Distance（EDM）などを事前に調べておきましたが実装に関係ありませんでした。 またRedditのWGANのスレッドにて、GANの考案者であるIan Goodfellow氏や本論文の著者Martin Arjovsky氏が活発に議論を交わしています。 Martin Arjovsky氏の実装がGithubで公開されていますので実装には困らないと思います。 私はChainer 1.20で実装しました。 https://github.com/mus
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - soumith/ganhacks: starter from "How to Train a GAN?" at NIPS2016