概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがいます。 ドラゴンクエスト10のアンルシア 公式サイトより引用 https://hiroba.dqx.jp/sc/election/queen2021/vote/confirm/1/nologinこのキャラの画像を18枚ほどAIに読み込ませ、追加学習し、AIに描かせた絵が以下の絵になります。 これ見ると、単なる髪型や顔が似ているレベルではなく、服の模様レベルまで再現できている事がわかります。 今までStableDiffusionの欠点として、同じキャラを安定して描くのが苦手というのがありましたが、DreamBoothを使うことで克服することが出来ます。 これにより、A
画像生成AI「Stable Diffusion」にたった数枚のイラストから絵柄や画風を追加学習できる「Dream Booth」が簡単に使える「Dreambooth Gui」レビュー
画像生成AI「Stable Diffusion」はあらかじめ学習したデータセットを基にして、プロンプトあるいは呪文と呼ばれる入力文字列に沿った画像を自動で生成します。そのStable DiffusionのAIモデルに画像を追加で学習させる「Dream Booth」という手法があるのですが、コマンド入力による操作が必要で、演算処理に何十GBものVRAMを必要としました。しかし、Dream BoothをGUIで、しかもNVIDIA製グラボであれば10GB程度の環境でも使える「Dreambooth Gui」がリリースされたので、実際に使ってみました。 GitHub - smy20011/dreambooth-gui https://github.com/smy20011/dreambooth-gui Dreambooth Guiを使うためにはDockerとWSL2のインストールが必要となります。
写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元
TOPコラム海外最新IT事情写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元【研究紹介】 写真1枚から、動かせる着衣3D人体モデルを高精度に生成する技術「TeCH」 DreamBoothなどで「見えない裏側領域」をリアルに復元【研究紹介】 2023年8月21日 中国の浙江大学やドイツのMax Planck Institute for Intelligent Systemsなどに所属する研究者らが発表した論文「TeCH: Text-guided Reconstruction of Lifelike Clothed Humans」は、全身が写る1枚の写真から高精度の3D着衣人体モデルを生成する手法を提案した研究報告である。背中や後頭部などの見えない領域も一貫したテクスチャとジオメトリを持つ、忠実度の高い仕上
DreamBooth
DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation Nataniel Ruiz Yuanzhen Li Varun Jampani Yael Pritch Michael Rubinstein Kfir Aberman Google Research It’s like a photo booth, but once the subject is captured, it can be synthesized wherever your dreams take you… [Paper] (new!) [Dataset] [BibTeX] Abstract Large text-to-image models achieved a remarkable leap in the
DreamBoothって何？ DreamBoothとは、特定の対象を事後学習させる技術です。 Stable Diffusionなどの画像生成AIを使うと、ユーザーが入力したテキストを頼りに、AIがオリジナルの画像を数秒～数十秒程度で自動生成してくれますが、それでも「私のペット」を描いてと言っても描いてくれませんでした。 そこで例えば、自分のペットの画像を5枚程度用意し、「私のペット」とラベルづけをさせて学習をさせることで、自分のペットの画像を生成できるAIモデルを作ることができます。 一度学習させれば、そのモデルを使って様々な「私のペット」画像を作ることができます。 フランスパリに行ったことがなくても、「エッフェル塔を背景にした私のペットの写真」と指定すれば、まるでエッフェル塔をペットと一緒に行ってきたかのような画像を作れてしまいます。 画家を指定してイラストを描くこともできる ここまでで
１．DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能まとめ ・DreamBoothは少数の画像から新しい概念をタグとして学ばせる事が可能 ・textual inversionと同等だが全体を最適化するためにより強力でメモリ喰い ・DreamBoothの省メモリ実装は推論だけなら6GB程度のメモリで動作可能 ２．DreamBoothとは？ アイキャッチ画像はstable diffusionのDreamBoothによる生成で8K版の風の谷のナウシカと肩にポケモンをのせた風の谷のナウシカ。 風の谷のナウシカは生成が難しいキャラクターの一つです。厳密にはスタジオジブリ作品ではない、ギリシャ神話の登場人物や現実に存在する地名等と名称がかぶるケースがある、インターネットがなかった時代の作品なので最近の作品に比べると英語圏での知名度が低い、等々が原因
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
[DreamBooth] Stable Diffusionを追加学習して独自のモデルを作成 [無料Colab]
[DreamBooth] Stable Diffusionを追加学習して独自のモデルを作成 [無料Colab] 2022年10月5日水曜日 Artificial Intelligence Dream Booth 概要 Dreamboothは、Text to Imageタスクを実現する拡散モデルの追加学習手法です。 Dreamboothでは、まず、事前に学習されたText to Imageの拡散モデルに数枚の特定の被写体が写る画像と、識別子となるプロンプトを与え、追加学習させます。 追加学習されたモデルは、識別子を用いた様々なプロンプトに応じて画像を生成することが可能となります。 上図では、いらすとや様の男の子の画像を数枚追加学習させ、「自転車に乗る男の子」をモデルに出力してもらった結果を示しています。 追加学習させたモデルでは、識別子「男の子」を与えると、いらすとや様の男の子風の画像を生成
![[DreamBooth] Stable Diffusionを追加学習して独自のモデルを作成 [無料Colab]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c33285d98bd00eada64ae12a8dc8f8299f92e5c/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEiWym_9fhEbZh0F2-rryoQ1M09bs_PyCJ95piQ_t8K0D6VF4nu64b-P7iPhn6An79PHj2Ofrk-ybugkDplehhE9A-Q4mIe2xtm_170Sdak-WUdt2iouI31NdxAI0ruM2rmX4tei6r5pOmA4hDTEH_WeDg5PbFMtO2VsOLAIXnVPBgUq8qaMoZUMSkEN9Q%2Fw1200-h630-p-k-no-nu%2Fan%2520illustration%2520of%2520sks%2520boy%2520riding%2520a%2520bicycle.png)
NovelAI 5ch Wiki 画像生成AIの情報を纏めるWikiです。 トップページページ一覧メンバー掲示板編集 Dreambooth-LoRA 最終更新：ID:QNrw4jY8gQ 2024年03月02日(土) 17:34:52履歴 概要 公式情報 sd-scripts (kohya) 参考資料・スレ住民による学習ガイド 記事 インストール、初回セットアップ編 sd-scripts (作: kohya) LoRA_Easy_Training_Scripts Installers あかちゃんLoraインストーラー bmaltais版 GUI AUTOMATIC1111 SD WebUI 拡張機能版 (作: ddPn08 GUI) Kohya_lora_param_gui (スレ住民作) sd-webui-train-tools | https://github.com/liasece/
「Google Colab」で「DreamBooth」を試す方法をまとめました。 1. DreamBooth「DreamBooth」は、数枚の被写体画像 (例 : 特定の犬) と対応するクラス名 (例 : 犬) を与えてファインチューニングすることで、Text-to-Imageモデルに新たな被写体を学習させる手法です。愛犬の合成画像を生成できる画像生成AIとして話題になりました。 GPU 16GBで動くDreamBooth実装を作ってくれた方がいたので、「Google Colab」でも試せるようになりました。 ・diffusers/examples/dreambooth at main · ShivamShrirao/diffusers 2. ライセンスの確認HuggingFaceからStable Diffusionをはじめてダウンロードする人は、以下のサイトにアクセスして、ライセンスを確
Colab で DreamBooth する
DreamBooth Google が公開したすっごく強いファインチューニングの手法です。 簡単にどんなものか説明すると、最低 4枚 の画像を与えるとそこに写っているものの他のシチュエーションの画像を生成できるようになります。 DreamBooth の公式サイトから引用 上の画像のようにたった4枚の犬の画像から、泳いでいたり犬小屋の中にいる画像を生成することができます。 DreamBooth の強みはなんと言ってもその精度にあり、他の手法と比べて高い精度で生成することができます。 こんな感じで従来の手法と比べると凄まじいレベルの生成になっていることがわかると思います。 私には仕組み等は全くわからないので知りたい場合は 実際の論文 や他の記事を参照してください。 この記事では一番シンプルな使い方を説明しますが、普通に Colab 見れば大体わかるので慣れてる人は読まなくても大丈夫だと思います
AUTOMATIC1111 の Dreambooth の使い方
LoRA はLoRA の学習方法に移動した。 目次概要正則化画像の必要性ParametersAdvancedConceptsA Few Dreambooth Observations and Tips, Leafier Closer Shots With the New Vae File (higher CFG)モデルの圧縮（脱水） 概要2023 年４月現在、Dreambooth よりも LoRA（LoHa・LoCon）が使われている。性能が Dreambooth とほとんど変わらず、ファイルサイズは 1/10 以下のできるのがその理由だ。 正則化画像の必要性sks guitar という Instance プロンプトで sks にギターの柄を学習させたいとする。このとき正則化画像がないと、sks にどのような内容が学習されるかわからない。sks と guitar と両方の語の概念が変更され
愛犬の合成画像を生成できる画像生成AI「DreamBooth」の「Stable Diffusion」版を作ってる人がいたので、愛猫の合成画像の生成に挑戦してみました。 ・DreamBooth Stable Diffusion GPUのメモリは32GB以上必要です。 1. DreamBooth「DreamBooth」は、数枚の被写体画像 (例 : 特定の犬) と対応するクラス名 (例 : 犬) を与えてファインチューニングすることで、Text-to-Imageモデルに新たな被写体を学習させる手法です。愛犬の合成画像を生成できる画像生成AIとして話題になりました。 オリジナルの「DreamBooth」は「Imagen」をベースにしていますが、この実装は「Textual Inversion」をベースにしています。 2. DreamBooth Stable Diffusion 「DreamBoot
GitHub - XavierXiao/Dreambooth-Stable-Diffusion: Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) with Stable Diffusion
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Loraモデル学習をGoogle Colabで作る方法解説。Kohya LoRA Dreambooth v14.1使用。【Stable Diffusion】｜信濃まつもと
学習リンク https://github.com/Linaqruf/kohya-trainer 旧バージョン説明動画 https://youtu.be/CrpvfbzTXAU sd-scripts https://github.com/kohya-ss/sd-scripts なんやら新しいネットワークが加わりました。colanとlycorisです。そこまで大きな変化はないように思います。ぽいぽいっと実行して色々やってみてください。 チャンネル登録よろしくです https://bit.ly/shinano-sub ウィッシュリスト https://www.amazon.jp/hz/wishlist/ls/3D0A081RG7SGQ?ref_=wl_share Blog https://shinanomatsumoto.hatenablog.com/ note https://note.com
Windows PCでDreamBoothを実行する手順（v1系8GB以上、v2系12GB以上、様々な機能あり）｜まゆひら｜note
Windows PCでDreamBoothを実行する手順（v1系8GB以上、v2系12GB以上、様々な機能あり） ※23年2月11日修正。常に「--num_cpu_threads_per_process 1」の設定で構わないとの情報がありました（以前はCPUコア数を設定していました）。 ※23年1月11日更新。付録に「モデルのマージ」を加えました。学習元に「ACertainty」を使用して、画像を差し替えました。 ※とりあえず公開しますが、本記事はボリュームがあるので細かな誤り等が含まれる可能性があります。お気づきの点がありましたら、末尾の連絡先へお知らせください。 0. 前書き0-0 ATTENTION DreamBoothが実行可能な最小のVRAM容量は、v1系モデルでは8GB（12GB以上を推奨）、v2系モデルでは12GB（推奨は不明、16GB？）となっています。最小の場合は「一応動
DreamBoothでStable Diffusionをトレーニングするための実験解析。. Made by Robert Mitson using Weights & Biases
Dreamboothを使ったモデルの追加学習をWindowsローカルマシンで行う方法 – AUTOMATIC1111拡張編(2023/02版) | 徒労日記
前回に続き、「ローカルマシンでDreamboothを使ってモデルに絵を学習させる」メモ。 前回：Dreambooth-GUI(簡易版)今回：AUTOMATIC1111のDreambooth Extension(詳細版)今回は細かなカスタマイズが可能なWebUIのDreambooth拡張の使い方です。 例によって理解の足りないところはありますが、わかりやすさを重視します。 2023/02/24 現在のDreambooth Extensionバージョンに合わせ修正 WebUIへのDreambooth Extensionの追加まずは利用する前の環境整備から。 Extensionの追加[Extentions]タブ→[Available]タブLoad from:をクリック“Dreambooth”の右にある”Install”をクリック一度WebUIを止めます。 xformersの追加学習時のメモリを節
How I Used Stable Diffusion and Dreambooth to Create A Painted Portrait of My Dog
Introduction When I first started playing with Stable Diffusion text-to-image generation, in August 2022, my immediate reaction was, "ZOMG! I need to make art prints for my art wall!". Only to then immediately face-plant because vanilla Stable Diffusion is quite challenging to tame. If you are trying to reproduce a specific subject, you need to utilize additional strategies and techniques, none of
Waifu diffusionの追加学習をColabのT4で行う。（使用VRAM13.6GB）※dreamboothじゃないよ｜gcem156
追記：haruさんがAMPに対応できるようにソースコードを修正していたので、やり方をちょっと変えたよ。リポジトリの内容も下の記事に合わせて変えちゃうから同じようにはもうできないよ。4日もcloneされてなかったしもうええやろ。 Colabの標準GPU（T4）、ランタイムハイメモリで動作確認しています。 まずはNVIDIA apexをインストール。 %cd /content !git clone https://github.com/NVIDIA/apex %cd apex !pip install -v --no-cache-dir ./ ドライブにマウントしてgit cloneします。ドライブは無料版だと容量が足りないかもしれません。ドライブを使わなくてもできるとは思いますが、完成した学習済みモデルを保存するのが面倒になります。またドライブを利用しないとColabの起動のたびにダウンロー
sd-dreambooth-library (Stable Diffusion Dreambooth Concepts Library)
Browse through concepts taught by the community to Stable Diffusion here Training Colab - personalize Stable Diffusion by teaching new concepts to it with only 3-5 examples via Dreambooth 👩🏫 (in the Colab you can upload them directly here to the public library) Navigate the Library and run the models (coming soon) - visually browse the different models and pick yours for inference 🎨 Inference
Stable Diffusion Dreambooth Concepts Library による DreamBoothの ファインチューニング｜npaka
2. 学習の実行DreamBooth学習用ノートブックでの学習の手順は、次のとおりです。 2.1 DreamBoothの学習用ノートブックを開く はじめに、DreamBoothの学習用ノートブックを開きます。 2.2. Initial setup次に、各種パッケージをインストールします。 (1) 「Install the request libs」のセルを実行。 パッケージがインストールします。 (2) 「Login to the Hugging Face Hub」のセルを実行。 HuggingFaceにログインします。リンク先のHuggingFaceのトークンをテキストボックスにコピペします。 (3) 「Import required library」のセルを実行。 パッケージをインポートします。 2.3 Settings for teaching your new concept次に、
※fine tuning専用のスクリプトを作成しましたので、通常はそちらをご利用いただければ幸いです。 概要DreamBoothはモデルのU-NetとText Encoderを学習しています。ですので、画像とプロンプト（キャプション）の取り扱いを変えるだけでそれらのfine-tuningが可能です。 教師データの準備画像ファイルと、その画像のプロンプトが1行で記述されたテキストファイルをペアで用意します。「画像ファイル名の拡張子を.txtまたは.captionに変えたもの」がテキストファイルのファイル名になります。 ざっくりこんな感じですcaptionこれはあくまでサンプルのため15枚ですが、目的にもよりますが、教師データの画像はもっとたくさん用意したほうが良いでしょう。 学習の実行fine_tuningオプションを指定してスクリプトを実行します。最大限にメモリを節約した例は以下になります
リポジトリのcloneと初期設定適当な作業フォルダを作成し、そこでPowerShellかコマンドプロンプトを開き、以下のページの「Windows環境でのインストール」のコマンドを入力してください。bitsandbytesおよびxformersもインストールされます。 ※Pytorch 3.10以外をお使いの場合、xformersのインストールをスキップし、必要ならソースからビルドしてください。 たとえば以下のようになります。 E:\Work\train-sdでコマンドを実行したaccelerate configの質問には以下のように答えます。 ※0.15.0から日本語環境では選択のためにカーソルキーを押すと落ちます（……）。数字キーの0、1、2……で選択できますので、そちらを使ってください。 GPU 1枚で学習する場合、0、0、そのままエンター、そのままエンター、そのままエンターでOKでし
[Bug]: Cannot load LoRA models created with Dreambooth extension or Colab dynamically · Issue #7156 · AUTOMATIC1111/stable-diffusion-webui
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
![[Bug]: Cannot load LoRA models created with Dreambooth extension or Colab dynamically · Issue #7156 · AUTOMATIC1111/stable-diffusion-webui](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad10e94501c0c075f7e13d728899b8169a7b10cc/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2F391d812f9832cc6fe6bc196702f0a8b0a7af6649c04329fb2cac41eba330d909%2FAUTOMATIC1111%2Fstable-diffusion-webui%2Fissues%2F7156)
LangLang on Twitter: "AIということで親分を学習させてみた（╹◡╹） #stablediffusion #WaifuDiffusion #Dreambooth https://t.co/iT1vTok1xo"
AIということで親分を学習させてみた（╹◡╹） #stablediffusion #WaifuDiffusion #Dreambooth https://t.co/iT1vTok1xo
概要DreamBoothとは追加学習することで、AI(StableDiffusion)で特定のキャラや物を描くためのモデル（データ）作るツールです。 例えば、ドラゴンクエスト10オンラインというゲームのアンルシアというキャラがい... 606 人がブックマーク・84 件のコメント
自前の画像でSDXL 1.0 (Stable Diffusion XL 1.0) のLoRA学習 (DreamBooth fine-tuning via LoRA) を行う - パソコン関連もろもろ
はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。 いわゆる通常のLoRAとは異なるようです。 以前にサンプル画像を使って学習を行いました。 touch-sp.hatenablog.com 今回は自前の画像を学習させてみました。やりたいこと今回やりたかったことはファインチューニングしたモデルに「sks robot」というpromptを与えて以下のようなオリジナルのロボットを出力することです。 以前Stable Diffusion 1.4で同じことをやっています。今回はSDXLで挑戦です。 touch-sp.hatenablog.com 用紙した画像36枚の画像を用意しました。 学習の実行 $ accelerate config -----------------------------------
先日、いらすとやの画像でTextual Inversionを試したが、今回は同じく数枚の画像でスタイルを学習するDreamboothを試してみる。 Dreamboothは、元は、GoogleのImagenに対して適用された手法だが、Stable Diffusionに適用できるようにした実装が公開されたので、それを使って試してみた。 GitHub - XavierXiao/Dreambooth-Stable-Diffusion: Implementation of Dreambooth (https://arxiv.org/abs/2208.12242) with Stable Diffusion Textual Inversionは、新しい単語の埋め込みベクトルを学習するのに対して、Dreamboothは、出現頻度の少ない既存の単語を使用し、それを条件として拡散モデルのパラメータを更新する
diffusers/examples/dreambooth at main · huggingface/diffusers
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Google DreamBooth AI が登場しました。 OpenAI の DALL-E 2 や StabilityAI の Stable Diffusion や Midjourney などの新しくリリースされたテクノロジは、すでにインターネットを席巻しています。 次に、結果をカスタマイズします。 しかし、どのように？ ボストン大学と Google から回答がありましたので、詳しく説明します。 DreamBooth には、写真のトピックを認識し、元のコンテキストから解体し、新しい望ましいコンテキストに正確に合成する機能があります。 さらに、現在の AI 画像ジェネレーターで使用することもできます。 AI を活用したイマジネーションの詳細については、読み進めてください。 Stable Diffusion で Google Dreambooth AI を使用するには?Google Dream
SDXL 1.0 (Stable Diffusion XL 1.0) のLoRA学習 (DreamBooth fine-tuning via LoRA) がVRAM 16GBでできるんだって。やるしかないでしょ。 - パソコン関連もろもろ
github.com github.com はじめに今回の学習は「DreamBooth fine-tuning of the SDXL UNet via LoRA」として紹介されています。 いわゆる通常のLoRAとは異なるようです。 16GBで動かせるということはGoogle Colabで動かせるという事だと思います。 自分は宝の持ち腐れのRTX 4090をここぞとばかりに使いました。 touch-sp.hatenablog.com 環境VRAM使用量削減のためbitsandbytesライブラリを使います。 Windowsではbitsandbytesが使えないのでWSL2を使いました。 Ubuntu 22.04 on WSL2 Python 3.10 CUDA 11.8pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --in
「Stable Diffusion v2.1でDreamBoothを動かしたい」 「Stable Diffusion v2とv2.1で追加学習の結果は異なるの？」 このような場合には、この記事の内容が参考になります。 この記事では、Stable Diffusion v2.1でDreamBoothによる追加学習を行う方法を解説しています。 本記事の内容 Stable Diffusion v2.1ベースのDreamBoothによる追加学習追加学習の内容Stable Diffusion v2とv2.1における追加学習の比較 それでは、上記に沿って解説していきます。 Stable Diffusion v2.1ベースのDreamBoothによる追加学習 Stable Diffusion v2.1が、2022年12月7日にリリースされました。
10/29追記・さらに精度を上げたバージョンがVRAM 12GBで動作しますので、そちらをご覧ください。 概要diffusers版のShivamShiriao氏のDreamboothは10/5時点で使用するVRAM容量が9.92GBまで削減されていますが、依存ライブラリの関係で残念ながらWindowsでは動きません。この記事ではWindowsでなるべく省メモリで動作させる方法を簡単に解説します。 Pythonで仮想環境を構築できるくらいの方を対象にしています。また細かいところは省略していますのでご容赦ください。 ※タスクマネージャ等でGPU使用メモリが12GB以下に収まることは確認していますが、12GBの実機での確認はしておりません。動作報告をいただけると助かります。 ※使用に当たっては自己責任でお願いいたします。 添付ファイルのライセンスは元ファイルに準拠します。ファイルを置き換えるとき
WSL2でJoePenna版のDreamboothを動かす
Windows11のWSL2が起動できていることを前提に解説していきます。 また、今回WSL2にインストールしたディストリビューションはUbuntu-20.04です。 CUDAのインストール まずWSL2を起動し、nvidia-smiコマンドが使えるか確認します。 Windowsホスト側にグラフィックドライバーが入っていれば、WSL2上でもグラボを認識します。 $ nvidia-smi Tue Oct 18 19:00:00 2022 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 515.76.02 Driver Version: 517.48 CUDA Version: 11.7 | |-------------------------------+
DiffusersベースのDreamBooth（SD2.0対応、Windows対応、必要VRAM 12GB～）｜Kohya S.
その他の学習オプションStable Diffusion 2.0対応 --v2 / --v_parameterization今のところ（11/27時点では）DiffUsersのDreamBoothはSD2.0（特にv-parameterization）に対応していないため、独自に実装したものです。そのため不具合等あるかもしれませんのでご容赦ください。 Hugging Faceのstable-diffusion-2-baseを使う場合はv2オプションを、stable-diffusion-2または768-v-ema.ckptを使う場合はv2とv_parameterizationの両方のオプションを指定してください。 なおSD 2.0の学習はText Encoderが大きくなっているためVRAM 12GBでは厳しいようです。 Stable Diffusion 2.0では大きく以下の点が変わってい
アニメの世界を合成！？自分のPCでAI画像生成を行うまでの方法と、DreamBoothの使い方をできるだけ詳しく解説！！自分で体験する画像生成の進化 - Frqux’s AI laboratory
こんにちは。ふらうです。 皆さん。「あのキャラクターがあの仕事をしていたらどうなるんだろう...」、「あのキャラクターがこんなことしていたらどういう風になるんだろう...」、「あのキャラとあのキャラのカップリングを見てみたい！」と考えたことはありませんか？ ...私はあります。 今回は、それを可能にする、DreamBoothについて書いていきます。 よくpixivやtwitterでアニメやゲームの版権キャラのAI絵を生成して公開されている方がおられますが、そういう絵をDreamBoothを使って生成することができるらしいのです。 そこでDreamboothについて気になったので調べてみようと思いました。 ちなみに、無許可で絵師さんの絵を学習材料にして、同じテイストの絵を販売したり公開したりすることは、あまりよくないです。AIが生成する絵の著作権は基本的には生成者が有することになるのですが、
概要学習時のモデルの重みと勾配、テンソルをすべてfp16にすることで8GB VRAMで学習します。学習に失敗する可能性は高く、また学習できたとしても精度は大きく下がりますのであくまで実験的なものです。 PyTorchのソースコードを書き換えるなどとても無理矢理なので動いたらラッキーくらいの心持ちでお願いします。 ※使用に当たっては自己責任でお願いいたします。 以下のTtl氏のバージョンでも8GB VRAMで動作するようですので、Linux/WSLでは使ったほうが良さそうです（Text Encoderは学習されないようです）。Ttl氏のバージョンはDeepSpeedを使っていますのである程度の精度は出るはずです。 この記事で使っている手法はTtl氏のものとは異なります（DeepSpeedは使っていません）。 次にPyTorchのソースコードを書き換えて勾配にfp16を使えるようにします。to
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AIで特定キャラを描く(DreamBoothで追加学習)｜lisa
【個人開発】AIに「自分のお気に入り」の画像を作らせよう【DreamBooth】 - Qiita
DreamBooth:Stable Diffusionに自分の好きなキャラクターを描いてもらう事は可能
正規化画像不要！たった数枚の画像でDreamBoothのキャラ学習。ローカル(Windows)で実行する方法
22/10/1 Dreamboothに挑戦した記録
Dreambooth-LoRA - NovelAI 5ch Wiki
Google Colab ではじめる DreamBooth｜npaka
追記あり【AIイラスト】stable diffusionの追加学習をpaperspaceで月額たった8ドルで行う為のweb-ui導入方法【DreamBooth】
DreamBooth Stable Diffusion を試す｜npaka
DreamBoothによるStable Diffusionトレーニング
DreamBoothスクリプトのfine-tuning機能について｜Kohya S.
DiffusersベースのDreamBoothについて｜Kohya S.
『AIで特定キャラを描く(DreamBoothで追加学習)｜lisa』へのコメント
いらすとやでDreamboothを試す - TadaoYamaokaの開発日記
Stable Diffusion で Google Dreambooth AI を使用するには?
【Stable Diffusion v2.1】DreamBoothによる追加学習
Diffusers版DreamboothをVRAM 12GBのWindows PCで動かす｜Kohya S.
Diffusers版DreamboothをVRAM 8GBのWindowsで無理矢理動かす｜Kohya S.