タグ

ブックマーク / qiita.com/Phoeboooo (2)

  • [最新論文/GAN] ラベルがないなら推測すればいい。 - Qiita

    論文紹介・画像引用 Google Brainより2019.3.6提出 https://arxiv.org/pdf/1903.02271v1.pdf 研究のGANの特徴と成果 FIDスコア(低い方が良い) スコア8~9の間にある縦線はベースライン(すべてラベル付けされた画像を使ったBigGAN) 研究の方法($S^3GAN$)では ラベル付けされた画像は全体のたった10%にも関わらずSOTAであるBigGANと同等の性能になった また全体の20%をラベル付けされた画像にするとBigGANを超える性能となった 解像度128×128 上段:BigGAN 下段:画像の10%のみラベルありのデータを使った$S^3GAN$ データの現実とその対策 これまでの鮮明な画像生成は大量のラベル付きデータによって実現してきた しかし現実的には、ほとんどのデータはラベル付けされていない・ラベル付け自体が多大な

    [最新論文/GAN] ラベルがないなら推測すればいい。 - Qiita
    Gln
    Gln 2019/03/12
  • [最新論文] 新しい最適化手法誕生! AdaBound & AMSBound - Qiita

    論文紹介 画像引用 https://openreview.net/pdf?id=Bkg3g2R9FX https://github.com/Luolc/AdaBound https://www.luolc.com/publications/adabound/ AdaBoundとAMSBound Adamに学習率の上限と下限を動的に加えたものをAdaBound AMSGradに学習率の上限と下限を動的に加えたものをAMSBound どちらの手法も最初はAdamのように動き、後半からSGDのように動く Adamの良さである初期の学習の速さとSGDの良さである汎化能力を両立した最適化手法 Adamの問題点 SGDと比べて汎化性能が劣る・未知のデータに弱い 不安定で極端な学習率を使うため上手く収束しない AMSGrad こういったAdamの問題を解決しようとしてできたのがAMSGrad http:

    [最新論文] 新しい最適化手法誕生! AdaBound & AMSBound - Qiita
    Gln
    Gln 2019/03/04
  • 1