フレンズ画像を生成させてみたい - Wasserstein AutoEncoder - Qiita
GrubCutを使ってそこそこ背景除去ができたので、そのデータを使って画像生成にチャレンジしてみました。今回はGANではなくWasserstein AutoEncoderを使っています。 Adversarial AutoEncoder 当初、Adversarial AutoEncoderの利用を考えていました。これはAutoEncoderをGANのアプローチで実現するもので、一般的なAutoEncoderと異なり画像の特徴を特定の分布に従った潜在空間に埋め込むもので、VAEに近いものと理解しています。 参考: [Survey]Adversarial Autoencoders - Qiita Wasserstein AutoEncoderの符号化器は決定的ではなく確率的である方が潜在変数の次元数がデータの有効次元数と合わない場合でもうまく学習できる（元の論文の主張である生成がシャープになる利
VAEの使い方と比較 - にゃ～の♪/姫神梓
StableDiffusion WebuiでのVAEの比較と使い方についてのノートになります。 ■VAEとは何か？VAEとは何か、については細かい説明は「Stable Diffusion VAE」とかで検索するといいでしょう。 理論とかどうでもいい、「VAEとは生成された画像の『映え』を左右する大事な概念であり仕組みである」とザックリ覚えておきましょう。 端的には「VAEがないと映えない」と乱暴に覚えていればいいです。 私みたいな文学部国文学科で民俗学と古代歌謡を専攻していたようなガチ文系でもわかるね？ というところで、あなたは下記のような画像を見たことがないだろうか。 これが、VAEの設定されていない「映えてない画像」なのだ。ピンとこないようなら。 下記画像と比較していただきたい。これが適切にVAEを指定した画像になる。 Aivyやほかの投稿サイトやtwitterで目を引くほかの人の画像
[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する
はじめに こんにちは。 前置きが思いつかないので、突然本題に入ります。 Stable Diffusionをはじめとする、Latent Diffusion Model(以下LDM)の追加学習手法は、その登場以来様々なやり方が提案されてきました。 例えば、学習データの表現を語に埋め込み、txt2imgの結果を直感的に操作するTextual Inverisionや、学習データによってDenoising U-Netのパラメータを変換するDNNを挿入するHyperNetworksはその代表的な手法です。 しかし、どの手法にも良い点と悪い点があり、こちらが決定的に良い、ということはなく、追加学習によるアウトカムの良し悪しを決定する最も大事なことは変わりません。 それは、適切な学習データを用意することです。 しかし、適切な学習データとは何か？という話はなかなか簡単に済ませられる話ではなく、モデルやタスク
![[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eb058f3cb8adacaecfcbbc04c3bda17c6d6186f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--mlVSX3dX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E4%2525BB%252598%2525E3%252581%25258D%25255DStable%252520Diffusion%2525E3%252581%2525AE%2525E8%2525BF%2525BD%2525E5%25258A%2525A0%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E3%252581%252599%2525E3%252582%25258B%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%252592%2525E3%252580%252581VAE%2525E3%252582%252592%2525E5%252588%2525A9%2525E7%252594%2525A8%2525E3%252581%252597%2525E3%252581%2525A6%2525E9%252581%2525B8%2525E5%252588%2525A5%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYzODRjMTUxOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
《日経Robotics》ソニーが新型の深層生成モデルを自社開発、まずは高性能VAEの利用を容易に
2022年夏、「Midjourney」や「Stable Diffusion」といった画像生成AIが世間の話題をさらった。言葉で内容を指定すると自動的に絵を描いてくれるサービスで、誰でも高品質の画像を手軽に入手できることから人気を集めている。その背後にあるのが、深層学習を応用したデータの生成モデルの進歩である。上記のサービスが利用する「拡散モデル」をはじめ、VAEやGANなど各種の方式が、より高い性能を目指してしのぎを削っている。 関連する研究開発が過熱する中、生成モデルの自社開発に注力するのがソニーグループだ。他社のサービスに依存せず、最先端の技術を自社内で理解し保有する必要があると考えて、約3年前に生成モデルの研究に着手した。その最新の成果を、2022年7月に開催された機械学習のトップ会議「International Conference on Machine Learning（ICML
【PyTorchで実装】ドラクエ画像でVQ-VAEを学習する
今回は、VQ-VAE(Vector Quantised-Variational AutoEncoder)を解説したいと思います。 VQ-VAEもVAE(Variational AutoEncoder) ... 今回は、TensorflowではなくPyTorchを使っている人も多いと思いますので、PyTorchでVQ-VAEを実装したいと思います。 細かいモデルの説明は省略しますので、必要に応じて上記の記事をご参照ください。 なお、VQ-VAEで画像を生成するは、インプット画像を潜在変数に符号化して元の画像を復元するオートエンコーダ部分と、潜在変数の分布を学習して潜在変数を生成する部分にわかれますが、今回はオートエンコーダ部分だけを実装していきます。 潜在変数を生成する部分はまた何かのモデル(論文ではPixelCNN)で実装したいと思います。
Diffusion models are autoencoders
Diffusion models took off like a rocket at the end of 2019, after the publication of Song & Ermon’s seminal paper. In this blog post, I highlight a connection to another type of model: the venerable autoencoder. Diffusion models Diffusion models are fast becoming the go-to model for any task that requires producing perceptual signals, such as images and sound. They provide similar fidelity as alte
Diffusion Models as a kind of VAE
\[\require{cancel}\] Introduction Recently I have been studying a class of generative models known as diffusion probabilistic models. These models were proposed by Sohl-Dickstein et al. in 2015 [1], however they first caught my attention last year when Ho et al. released “Denoising Diffusion Probabilistic Models” [2]. Building on [1], Ho et al. showed that a model trained with a stable variational
The theory behind Latent Variable Models: formulating a Variational Autoencoder | AI Summer
Over the past few years, there has been a turn in research focus towards Generative models and unsupervised learning. Generative Adversarial models and Latent Variable models have been the two most prominent architectures. In this article, we will deeply examine how latent variable models work, their core principles and we will formulate their most popular representant: Variational Autoencoders (V
The variational auto-encoder
\[\DeclareMathOperator{\diag}{diag}\] In this chapter, we are going to use various ideas that we have learned in the class in order to present a very influential recent probabilistic model called the variational autoencoder. Variational autoencoders (VAEs) are a deep learning technique for learning latent representations. They have also been used to draw images, achieve state-of-the-art results in
【論文解説】Diffusion Modelを理解する
以下の記事では、Diffusionモデルの仕組みについて見てきました。 https://data-analytics.fun/2022/02/03/understanding-diffusion-mo ... Diffusion Model の概要 まずは、diffusion model のざっくりとした概要について説明したいと思います。 forward process と reverse process diffusion model は、以下の図のように(1) forward process と(2) reverse process の2つの過程を考えます。 forward process は画像にノイズを加えていって、最終的にはノイズだけになる確率過程です。 一方の reverse process は forward process の逆で、ノイズから画像になっていく確率過程です。
自己回帰型モデルの深層学習 - Start Today Technologies TECH BLOG
初めまして、データチームの上月です。 今回はVASILYテックブログ初の論文紹介、テーマは 自己回帰型モデル（Autoregressive, AR）です。 はじめに VASILYではIQONの類似画像検索にAutoencoderを適用しています。 具体的にはアイテム画像で学習したAutoencoderの潜在変数を特徴量として類似画像検索を行っていますが、背景やモデルの影響を受けやすいなどの課題があります。 この問題は「潜在変数にどのような情報を持たせるか」を調整することで解決できる可能性が高く、潜在変数の分布にはdecoderの表現力が関係しています。 最近ではVAEのdecoderとしてRNNや自己回帰型モデルなどといった表現力のあるモデルを用いたり1、 decoderの後にPixelCNN2を追加することで潜在変数がもつ情報を目的にあったものにする例があります（PixelVAE3）。
PyTorchバックエンドの確率的プログラミング言語Pyroと生成モデルのツールPixyz
変分オートエンコーダーを題材に、確率的プログラミング言語Pyroと生成モデルのツールPixyzについて紹介します。 目次PyroとPixyzPyTorchユーザーが気になる点畳み込みを使った変分オートエンコーダーによるMNIST学習Pyroを使ったVAEの実装Pixyzを使ったVAEの実装終わりに PyroとPixyz確率モデリングを行うためのプログラミングツールとして、確率的プログラミング言語（Probabilistic Programming Language, PPL）があります。Pythonを使ったPPLにはPyMCやPyStan、TensorFlow Probabilityなどがありますが、Uber社がPyTorchをバックエンドにしたPPLであるPyroをリリースしています。Pyroは柔軟で汎用的な確率モデリングのためのツールを目指しており、観測データの確率分布をモデリングする
STATISTICAL SPEECH ENHANCEMENT BASED ON PROBABILISTIC INTEGRATION OF VARIATIONAL AUTOENCODER AND NON-NEGATIVE MATRIX FACTORIZATION
STATISTICAL SPEECH ENHANCEMENT BASED ON PROBABILISTIC INTEGRATION OF VARIATIONAL AUTOENCODER AND NON-NEGATIVE MATRIX FACTORIZATION Yoshiaki Bando1 , Masato Mimura1 , Katsutoshi Itoyama1 , Kazuyoshi Yoshii1,2 , Tatsuya Kawahara1 1 Graduate School of Informatics, Kyoto University, Sakyo-ku, Kyoto 606-8501, Japan 2 Center for Advanced Intelligence Project, RIKEN, Chuo-ku, Tokyo 103-0027, Japan ABSTRA
Generative Models（メタサーベイ ）
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/ Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Collective dynamics of repeated inference in variational autoencoder rapidly find cluster structure - Scientific Reports
https://www.renom.jp/ja/notebooks/tutorial/generative-model/VAE/notebook.html
Jakub Tomczak
Deep Generative Modelling: A Comparative Review of VAEs, GANs, Normalizing Flows, Energy-Based and Autoregressive Models
ICLR2020の異常検知論文の紹介 (2019/11/23)
Optimal forgetting: Semantic compression of episodic memories