はじめに こんにちは。 前置きが思いつかないので、突然本題に入ります。 Stable Diffusionをはじめとする、Latent Diffusion Model(以下LDM)の追加学習手法は、その登場以来様々なやり方が提案されてきました。 例えば、学習データの表現を語に埋め込み、txt2imgの結果を直感的に操作するTextual Inverisionや、学習データによってDenoising U-Netのパラメータを変換するDNNを挿入するHyperNetworksはその代表的な手法です。 しかし、どの手法にも良い点と悪い点があり、こちらが決定的に良い、ということはなく、追加学習によるアウトカムの良し悪しを決定する最も大事なことは変わりません。 それは、適切な学習データを用意することです。 しかし、適切な学習データとは何か？という話はなかなか簡単に済ませられる話ではなく、モデルやタスク
![[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する](https://cdn-ak-scissors.b.st-hatena.com/image/square/9eb058f3cb8adacaecfcbbc04c3bda17c6d6186f/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--mlVSX3dX--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E4%2525BB%252598%2525E3%252581%25258D%25255DStable%252520Diffusion%2525E3%252581%2525AE%2525E8%2525BF%2525BD%2525E5%25258A%2525A0%2525E5%2525AD%2525A6%2525E7%2525BF%252592%2525E3%252581%2525AB%2525E9%252581%2525A9%2525E3%252581%252599%2525E3%252582%25258B%2525E7%252594%2525BB%2525E5%252583%25258F%2525E3%252582%252592%2525E3%252580%252581VAE%2525E3%252582%252592%2525E5%252588%2525A9%2525E7%252594%2525A8%2525E3%252581%252597%2525E3%252581%2525A6%2525E9%252581%2525B8%2525E5%252588%2525A5%2525E3%252581%252599%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%25258B%252595%2525E8%2525A9%25259E%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzYzODRjMTUxOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
DALL-E in Pytorch の使い方｜npaka
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/ Read less
変分オートエンコーダーを題材に、確率的プログラミング言語Pyroと生成モデルのツールPixyzについて紹介します。 目次PyroとPixyzPyTorchユーザーが気になる点畳み込みを使った変分オートエンコーダーによるMNIST学習Pyroを使ったVAEの実装Pixyzを使ったVAEの実装終わりに PyroとPixyz確率モデリングを行うためのプログラミングツールとして、確率的プログラミング言語（Probabilistic Programming Language, PPL）があります。Pythonを使ったPPLにはPyMCやPyStan、TensorFlow Probabilityなどがありますが、Uber社がPyTorchをバックエンドにしたPPLであるPyroをリリースしています。Pyroは柔軟で汎用的な確率モデリングのためのツールを目指しており、観測データの確率分布をモデリングする
VariationalでEnd2EndなDialogue Response Generationの世界 - 終末 A.I.
この記事は、自然言語処理 #2 Advent Calendar 2019の24日目の記事です。 Open-Domain Dialogueや非タスク指向対話、雑談対話と呼ばれる領域において、発話データのみを使用したEnd2Endな対話応答生成を試みる歴史はそこまで古くなく、[Ritter et al+ 11]や[Jafarpour+ 10]がまず名前をあげられるように、比較的最近始まった研究テーマとなります。 これらは、Twitterなどの登場により、ユーザー間で行われる、ほとんどドメインを限定しない、もしくは多様なドメインにまたがる、大量の対話データを、容易に収集できるようになったことにより、活発に研究されるようになってきました。 初期の研究である[Ritter+ 11]や[Jafarpour+ 10]では、統計的機械翻訳ベースや情報検索ベースの手法でEnd2Endな対話システムを構成して
はじめに VAE、変分オートエンコーダのVAEです。機械学習のネットワークの一つです。 これを読まれている方は、VAEについて多少以上は御存じであるという前提でお話します。 VAEとは、端的に言えば特徴を潜在変数を介した表現に起き換える手法です。 潜在変数というのは、正体不明だがその入力を決定づける何らかの変数、といった感じに理解していればOKだと思います。 表に顕在していない、その入力を決定づける何かを、まず0まわりの値を取る自然な乱数的なサムシングとして仮定し、オートエンコーダで絞ったときの最低限の特徴がその0まわりの乱数的なサムシングのみで成り立つように設計するということです。 これ以上の詳しい説明は他に譲ります。参考としてはこちらが有名かと。 Variational Autoencoder徹底解説 VAEがこんなことできるって知ってた？ ところでこの画像、何かわかりますか。 実はこ
Stable DiffusionでVAEを使用する方法 ｜ AUTOMATIC1111高機能Web UIの活用法 | Murasan Lab
今回はStable DiffusionのWebUIであるAUTOMATIC1111で、VAE（Variational Auto Encoder）を使用する方法について解説します。 Stable Diffusionで画像を生成する際に、使用するモデルに適切なVAEを使用することでイラストのクオリティを大幅に向上させることができます。 本記事では、VAEの概要から具体的な使用方法までを解説します。
[DL輪読会]NVAE: A Deep Hierarchical Variational AutoencoderDeep Learning JP1.7K views•22 slides 【DL輪読会】Efficiently Modeling Long Sequences with Structured State SpacesDeep Learning JP3.8K views•34 slides
Disentanglement Survey:Can You Explain How Much Are Generative models Disenta...Hideki Tsunashima
I have aggregated some of the SotA image generative models released recently, with short summaries, visualizations and comments. The overall development is summarized, and the future trends are speculated. Many of the statements and the results here are easily applicable to other non-textual modalities, such as audio and video. Summary: The papers we featured in this post belong to either of the f
This post was co-written with Baptiste Rocca. IntroductionIn the last few years, deep learning based generative models have gained more and more interest due to (and implying) some amazing improvements in the field. Relying on huge amount of data, well-designed networks architectures and smart training techniques, deep generative models have shown an incredible ability to produce highly realistic
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
StableDiffusion WebuiでのVAEの比較と使い方についてのノートになります。 ■VAEとは何か？VAEとは何か、については細かい説明は「Stable Diffusion VAE」とかで検索するといいでしょう。 理論とかどうでもいい、「VAEとは生成された画像の『映え』を左右する大事な概念であり仕組みである」とザックリ覚えておきましょう。 端的には「VAEがないと映えない」と乱暴に覚えていればいいです。 私みたいな文学部国文学科で民俗学と古代歌謡を専攻していたようなガチ文系でもわかるね？ というところで、あなたは下記のような画像を見たことがないだろうか。 これが、VAEの設定されていない「映えてない画像」なのだ。ピンとこないようなら。 下記画像と比較していただきたい。これが適切にVAEを指定した画像になる。 Aivyやほかの投稿サイトやtwitterで目を引くほかの人の画像
\[\require{cancel}\] Introduction Recently I have been studying a class of generative models known as diffusion probabilistic models. These models were proposed by Sohl-Dickstein et al. in 2015 [1], however they first caught my attention last year when Ho et al. released “Denoising Diffusion Probabilistic Models” [2]. Building on [1], Ho et al. showed that a model trained with a stable variational
2023/04/11 (更新日: 2023/09/29) 【彩度アップ】Stable Diffusionで必須のVAEとは？初期設定と使い方を解説！ AIイラスト ※当ブログはアフィリエイト・アドセンスによる収益で運営されています。 Stable Diffusionで生成したイラストがイマイチ… なんか色が薄い感じなんだよね 他の人みたいに色鮮やかなイラストを作りたい こういったお悩みにお答えします。 Stable Diffusionでイラストを生成するうえでVAEは必須。VAEがないと、出力されるのはぼんやりと色あせたようなイラストばかり…。 この記事では Stable Diffusionで必須のVAEとは？ VAEのダウンロード・初期設定（変更方法） VAEをもっと簡単に切り替える方法 必要なVAEはモデルごとに異なる もっとスムーズにイラストを生成したいなら… 生成した大量のイラスト
\[\DeclareMathOperator{\diag}{diag}\] In this chapter, we are going to use various ideas that we have learned in the class in order to present a very influential recent probabilistic model called the variational autoencoder. Variational autoencoders (VAEs) are a deep learning technique for learning latent representations. They have also been used to draw images, achieve state-of-the-art results in
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[実装付き]Stable Diffusionの追加学習に適する画像を、VAEを利用して選別する
Generative Models（メタサーベイ ）
PyTorchバックエンドの確率的プログラミング言語Pyroと生成モデルのツールPixyz
今更ながらVAEってこんなに凄かったの？ってなった話
PRML学習者から入る深層生成モデル入門
ELBO型VAEのダメなところ
State-of-the-Art Image Generative Models
Understanding Variational Autoencoders (VAEs)
https://www.renom.jp/ja/notebooks/tutorial/generative-model/VAE/notebook.html
ICLR2020の異常検知論文の紹介 (2019/11/23)
VAEの使い方と比較 - にゃ～の♪/姫神梓
Diffusion Models as a kind of VAE
【彩度アップ】Stable Diffusionで必須のVAEとは？初期設定と使い方を解説！
The variational auto-encoder