You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
github.com 2017年は様々なGANの改良手法が開発されましたが,先月,Progressive GANという,中でもわかりやすいアイディアで高解像度な画像を生成できる手法が発表されたので,実験してみました. Progressive GAN まず,普通のGANについておさらいですが, この図のように, 1. Generatorがきれいな生成画像を作る 2. Discriminatorが生成画像とデータセット画像を見分ける という役割をそれぞれが果たし,Discriminatorを騙すGeneratorを鍛えることできれいな生成画像になっていくという過程です. この手法をベースに,より自然な,より多様な,画像生成が模索されているというのが現状です. さて,ここはポエムですが,大雑把に言って,自然な画像というのは,"細部が整っている", "全体が矛盾していない"の2つの観点が考えられる
※この記事は"How to Train a GAN?" at NIPS2016を、ここを参考にして、私なりに解釈して、重要そうな部分を引用して翻訳したものです。役に立つことが多かったので共有致します。 ※GANの説明は省略します。G=Generator、D=Discriminatorとして説明します。 ※それぞれのテクニックに根拠はあまり書いてないですが、ほとんどが論文に書いてあった「こうすればうまくいった」というものです。GANの学習がうまくいかないときに試してみると良いと思います。 1. 入力を正規化 (Normalize the inputs) ・DのInput(=Gの出力)となる画像を[-1,1]の範囲に正規化する。 ・Gの出力が[-1,1]となるように、OutputのところをTanhにする。 2. GのLoss関数を修正する (A modified loss function)
GANの学習がうまくいかない GANの学習はとても難しいといわれています。 学習が不安定で収束(ナッシュ均衡)しない 同じものしか生成しないMode collapseに陥る Discriminatorが圧勝し勾配消失が起きる GeneratorとDiscriminatorのバランスが悪く過学習する ハイパパラメータに敏感すぎる 通常のDeep Learningのロスであれば小さければ小さいほど学習が進んでいるといえます。基本的にはロスが一定の値まで小さくなり、頭打ちになると学習終了と判断することができます。しかしGANの学習では一方のロスがすぐに下がりきってしまうと学習失敗です。 GANではGeneratorとDiscriminatorのロスのバランスが命なのです。 GANのコードを実際に動かしてみたものの、対象のデータセットやハイパパラメータのチューニングに苦戦している人が多いと思います
PyTorchで256x256のサイズまで出力できるStyleGANを書いてFFHQで学習してみました。 論文紹介 Progressive Growing of GANs for Improved Quality, Stability, and Variation 2017年末に出たこちらの論文がStyleGANの前身となっています。 公式実装が公開されているので論文内で分からない詳細も確認できます。 https://github.com/tkarras/progressive_growing_of_gans ネットワーク構造的には2 PROGRESSIVE GROWING OF GANS、3 INCREASING VARIATION USING MINIBATCH STANDARD DEVIATION、4.1 EQUALIZED LEARNING RATEのあたりの章がStyleGANに
IntroductionProgressiveGANやStyleGAN等、GANの発展により1024✕1024といった高解像度かつ綺麗な画像生成を行えることが可能になってきました。しかし、それらはあくまでも顔画像の生成に留まっており、以下の図のように人間の全身画像といったより複雑な画像に関しては依然として生成は難しいままです。 Koichi Hamada, et al., “ Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks”そこで、今回は二次元美少女の顔画像生成という観点ではなく、全身画像に観点を置いて生成を試みたのでその結果について述べていきます。先に述べておきますが、全身と名づけておきながら実際は腰ぐらいまで
先日のNeurIPS読み会での@hamadakoichiさんの発表によれば、 NeurIPS2018で、単に「GANsの生成品質を向上する」というだけの採択論文は、もう1本もない とのこと。確かに最近のGANsによる生成画像は解像度、クオリティ共にもはや「本物」に近い。 で、上記発表の中でも紹介されてるProgressiveGAN、BigGAN、StyleGANあたりがここ数年のSOTAの変遷かと思うのでGANsで使われている性能評価尺度とあわせて振り返ってみた。 まず、GANsが生成する画像の品質をどうやって評価するのかについて。これはまだオープンな問題だが、比較的有名なのはinception scoreとFréchet Inception Distance (FID)だと思う。両者の概要を以下に説明する。 Inception score 1 本スコアでは生成画像の「良さ」を以下2つの観
DCGANのジェネレータにおけるConvTとUpsample+Convとの違い、BatchNormと活性化関数の順番、初音ミクの生成で比較するPython機械学習初音ミクDCGANPyTorch 前置き 先回はDCGANを実装してみました https://qiita.com/phyblas/items/bcab394e1387f15f66ee 最初から色んな人のモデルを比べて気になることがあります。一つはジェネレーターの中で、chainerで実装する人は逆畳み込み層(ConvT)を使うのに対し、kerasでDCGANを実装する人はアップサンプリング(Upsampling)+畳込み層(Conv)を使うことが多いです。 kerasで実装した例は https://qiita.com/triwave33/items/35b4adc9f5b41c5e8141 https://qiita.com/t-
Introduction¶ This tutorial will give an introduction to DCGANs through an example. We will train a generative adversarial network (GAN) to generate new celebrities after showing it pictures of many real celebrities. Most of the code here is from the DCGAN implementation in pytorch/examples, and this document will give a thorough explanation of the implementation and shed light on how and why this
画像のスタイル変換とかがやりたいので関連する論文を読んでいます。 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks 実際に試してみた話はこちら。 問題設定 $x \in X, y \in Y$ について $ G:X \rightarrow Y $ となるような $G$ を構成したい。画像について言えばこれは image-to-image translationを意味していて、白黒画像への着色やセグメンテーションなどを含む。 こういった問題の場合、通常はタスク設計として ${x_i, y_i}$ の組を沢山用意しておいて学習に用いるという方法が考えられる、しかし、現実的に対になるような ${x_i, y_i}$ を用意することが困難であるケースも存在するので、対になるデータのセットを
3 つの要点 ✔️ 教師なしセグメンテーション手法「ReDO」の提案 ✔️ 画像生成の仕組みでセグメンテーションタスクを解く新たな試み ✔️ 教師あり学習と比べても、様々な実データセットで良いパフォーマンスを発揮 はじめに 近年、様々な分野で画像認識技術が活用されています。これは深層学習技術の発展によって、画像認識の精度が大幅に向上したためです。画像認識技術には三段階のステップに分けられます。 1つ目は、画像に何が写っているか判断する「物体認識」です。「物体認識」では画像に何が写っているか判断するだけで、その物体の位置までは判断しません。 2つ目は、画像に写っている物体の名前と位置を判断する「物体検出」です。 3つ目は、画像のピクセル単位で物体認識を行う「セマンティックセグメンテーション」です。人間はピクセル単位で物体を認識しており、「セマンティックセグメンテーション」は私たちと同様の画像
3つの要点 ✔️様々な分野で使用されている 「GAN」の包括的なサーベイ論文の紹介 ✔️応用編では、GANの品質を測る指標と様々な応用を紹介 ✔️ この記事でGANが何に応用できるか網羅的に把握が可能 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications written by Jie Gui, Zhenan Sun, Yonggang Wen, Dacheng Tao, Jieping Ye (Submitted on 20 Jan 2020) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 今回の記事は、GANのサーベイ論文(アルゴリズム編)に続き、
3つの要点 ✔️様々な分野で使用されている 「GAN」の包括的なサーベイ論文の紹介 ✔️アルゴリズム編では、「GAN」のアルゴリズムに焦点を絞って様々なアプローチを紹介 ✔️ この記事で「GAN」の最新動向までをキャッチアップ可能 A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications written by Jie Gui, Zhenan Sun, Yonggang Wen, Dacheng Tao, Jieping Ye (Submitted on 20 Jan 2020) subjects : Computer Vision and Pattern Recognition (cs.CV); Machine Learning (cs.LG) はじめに 2014年に画像生成のためのア
@triwave33さんの良記事に触発され、GANに対しての関心が高まり、自分でもなにかアウトプットできないかなと思ったので、今回はキルミーベイベーの画像生成を行いました。 この記事では、GANについて基礎から解説し、最後にはDCGANを使ってキルミーベイベーの画像を生成することを目標としています。 以前、以下のような記事 Kerasでキルミーアイコン686枚によるキルミー的アニメ絵分類 を使ってKerasの勉強をし、面白いなと思ったので、 今回はDCGANを使って分類ではなく生成を行おうと思います。 また、潜在変数(ノイズ)に関して詰まったので、そこに関して掘り下げます。 ついでに、転置畳み込みに関しても少し触れています。 GAN関連の良記事としては 今さら聞けないGAN(1) 基本構造の理解 今さら聞けないGAN (2) DCGANによる画像生成 はじめてのGAN があります。 実装は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く