[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する
はじめに こんにちは。 前置きが思いつかないので、突然本題に入ります。 Stable Diffusionをはじめとする、Latent Diffusion Model(以下LDM)の追加学習手法は、その登場以来様々なやり方が提案されてきました。 例えば、学習データの表現を語に埋め込み、txt2imgの結果を直感的に操作するTextual Inverisionや、学習データによってDenoising U-Netのパラメータを変換するDNNを挿入するHyperNetworksはその代表的な手法です。 しかし、どの手法にも良い点と悪い点があり、こちらが決定的に良い、ということはなく、追加学習によるアウトカムの良し悪しを決定する最も大事なことは変わりません。 それは、適切な学習データを用意することです。 しかし、適切な学習データとは何か？という話はなかなか簡単に済ませられる話ではなく、モデルやタスク
![[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eb058f3cb8adacaecfcbbc04c3bda17c6d6186f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--mlVSX3dX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E4%2525BB%252598%2525E3%252581%25258D%25255DStable%252520Diffusion%2525E3%252581%2525AE%2525E8%2525BF%2525BD%2525E5%25258A%2525A0%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E3%252581%252599%2525E3%252582%25258B%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%252592%2525E3%252580%252581VAE%2525E3%252582%252592%2525E5%252588%2525A9%2525E7%252594%2525A8%2525E3%252581%252597%2525E3%252581%2525A6%2525E9%252581%2525B8%2525E5%252588%2525A5%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYzODRjMTUxOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
《日経Robotics》ソニーが新型の深層生成モデルを自社開発、まずは高性能VAEの利用を容易に
2022年夏、「Midjourney」や「Stable Diffusion」といった画像生成AIが世間の話題をさらった。言葉で内容を指定すると自動的に絵を描いてくれるサービスで、誰でも高品質の画像を手軽に入手できることから人気を集めている。その背後にあるのが、深層学習を応用したデータの生成モデルの進歩である。上記のサービスが利用する「拡散モデル」をはじめ、VAEやGANなど各種の方式が、より高い性能を目指してしのぎを削っている。 関連する研究開発が過熱する中、生成モデルの自社開発に注力するのがソニーグループだ。他社のサービスに依存せず、最先端の技術を自社内で理解し保有する必要があると考えて、約3年前に生成モデルの研究に着手した。その最新の成果を、2022年7月に開催された機械学習のトップ会議「International Conference on Machine Learning（ICML
【論文解説】Diffusion Modelを理解する
以下の記事では、Diffusionモデルの仕組みについて見てきました。 https://data-analytics.fun/2022/02/03/understanding-diffusion-mo ... Diffusion Model の概要 まずは、diffusion model のざっくりとした概要について説明したいと思います。 forward process と reverse process diffusion model は、以下の図のように(1) forward process と(2) reverse process の2つの過程を考えます。 forward process は画像にノイズを加えていって、最終的にはノイズだけになる確率過程です。 一方の reverse process は forward process の逆で、ノイズから画像になっていく確率過程です。
Generative Models（メタサーベイ ）
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/ Read less
Neural Discrete Representation Learning | Aäron van den Oord
Neural Discrete Representation Learning All samples on this page are from a VQ-VAE learned in an unsupervised way from unaligned data. More details in the paper. Reconstructions These samples are reconstructions from a VQ-VAE that compresses the audio input over 64x times into discrete latent codes (see figure below). Both the VQ-VAE and latent space are trained end-to-end without relying on phone
VAE Learning via Stein Variational Gradient Descent
A new method for learning variational autoencoders (VAEs) is developed, based on Stein variational gradient descent. A key advantage of this approach is that one need not make parametric assumptions about the form of the encoder distribution. Performance is further enhanced by integrating the proposed encoder with importance sampling. Excellent performance is demonstrated across multiple unsupervi
Variational Dropout and the Local Reparameterization Trick Diederik P.Kingma, Tim Salimans and Max Welling 発表者 鈴ྛ⽊ٲ雅⼤֒ 本論ྔ⽂٘について ¤༊ 発表学会不ྖ明 ¤༊ Submitted on 8 Jun 2015(arXiv) ¤༊ 7/1
Variational Dropout and the Local Reparameterization Trick Diederik P.Kingma, Tim Salimans and Max Welling 発表者 鈴ྛ⽊ٲ雅⼤֒ 本論ྔ⽂٘について ¤༊ 発表学会不ྖ明 ¤༊ Submitted on 8 Jun 2015(arXiv) ¤༊ 7/17現在まだ書き終わってないっぽい（結構説明が抜けてたりする） ¤༊ 最近よく名前を聞く「変分オートエンコーダー」シリーズの新作 ¤༊ 要約すると「Dropout = local reparameterization trickだった！！」っ ていう論ྔ⽂٘ ¤༊ 当然ながら論ྔ⽂٘には図がほとんどありません！ ¤༊ 抽象的な議論ྔなのでほとんど数式な上、難解 ¤༊ 今回は元となる確率ྖ 的勾配変分ベイズ(SGVB
変分オートエンコーダの仕組みとその実装 — vae 0.1 ドキュメント
変分オートエンコーダの仕組みとその実装¶ 本文書では変分オートエンコーダの仕組みとPythonでの実装について説明します. そして, MNIST数字データセットの分布を二次元の潜在変数空間にエンコードし, 可視化を行います. (2015年6月27日 吉岡琢 taku.yoshioka.4096@gmail.com) はじめに¶ 変分オートエンコーダは文献 [KM14] で提案された潜在変数を持つ確率モデルに対する学習法で, 多層パーセプトロンのような複雑な非線形性を持つモデルに対して適用することができます. この手法の基礎になるのは変分ベイズ法です. 変分ベイズ法が提案された当初の2000年頃は, 事後分布を近似する試験分布として事前分布と共役なものを採用し, EMアルゴリズムと同様の交互最適化を行うのが一般的でした (これはVB-EMアルゴリズムと呼ばれることもあります). しかし, そ
Variational Auto Encoder
Variational Auto Encoder nzw 2016 年 12 月 1 日 1 はじめに 深層学習における生成モデルとして Generative Adversarial Nets (GAN) と Variational Auto Encoder (VAE) [1] が主な手法として知られている．本資料では，VAE を紹介する．本資料は，提案論文 [1] とチュー トリアル資料 [2] をもとに作成した．おまけとして潜在表現が離散値を仮定したパターンと Keras による実験 結果をつけている．間違いなどがあれば指摘してほしい． 2 Variational Auto Encoder 2.1 導入 x z φ θ N 図 1 今回考えるグラフィカルモデル VAE では図 1 にあるような潜在変数を含んだグラフィカルモデルで表現される生成過程を考える．x は 1 つのデータで，i.
Tutorial: Categorical Variational Autoencoders using Gumbel-Softmax
Tutorial: Categorical Variational Autoencoders using Gumbel-Softmax In this post, I discuss our recent paper, Categorical Reparameterization with Gumbel-Softmax, which introduces a simple technique for training neural networks with discrete latent variables. I'm really excited to share this because (1) I believe it will be quite useful for a variety of Machine Learning research problems, (2) this
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Variational Approaches for Auto-Encoding Generative Adversarial Networksの紹介
Jupyter Notebook Viewer