SDXLでコピー機学習法を試す｜Kohya S.
はじめにコピー機学習法は、LoRAを教師画像と同様の画像しか出力されないレベルまで過学習し（コピー機と呼ばれる理由です）、そこから目的のLoRAを取り出す手法です。詳細は以下の月須和・那々氏の記事をご覧ください。 今回、SDXLでコピー機学習法を試してみました。品質的にはいまひとつですが、一応成功はしましたので、設定等を共有します。 学習にはsd-scriptsを利用しています。 教師データとりにく氏の画像を利用させていただきます。 SDXLにおけるコピー機学習法考察（その1） ①まず生成AIから1枚の画像を出力(base_eyes)。手動で目をつぶった画像(closed_eyes)に加工（画像1枚目と2枚目） ②画像3枚目のレシピでまずbase_eyesを学習、CounterfeitXL-V1.0とマージする ③②のモデルをベースに4枚目でclosed_eyesを学習 pic.twitt
Stable DiffusionのモデルをU-Netの深さに応じて比率を変えてマージする｜Kohya S.
概要Stable Diffusionでは、複数のモデルの重みをマージすると中間的な出力が得られることが知られています。 以下の比較結果が大変参考になります。 また（ざっくりとした私の理解では）Stable Diffusionは大きくText Encoder (CLIP)、Denoising Auto Encoder (U-Net)、Auto Encoderからなります。このうち、U-Netが画像をノイズから画像を生成する部分担当しています。 U-Netは広く使われているネットワーク構造で、構造がその名の通りU字型（V字型）をしています。 またU-Netに限らず一般的に、ニューラルネットワークでは浅い層が細かいディテール部分を認識し、深い層が全体の構造を認識するといわれています。 そこで、U-Netの深さに応じてマージ比率を変えてマージすると、単純にマージしたのとは異なる結果が出るのではない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
