交替直接差分学習法ADDifT(Alternating Direct Difference Training)の解説｜hakomikan

LoRA学習の技術は日進月歩ですが、その根本となる学習手法は初期の段階からほとんど変わっていません。今回は新しい学習手法を開発したので解説します。この技術ではコピー機学習で行っていた差分学習の所要時間を10～20分の1に短縮し、複数の画像セットの同時学習も可能とします。画像モデルだけでなく他の拡散モデル全般に応用できる可能性があります。 LoRA学習とコピー機学習法 まずはふつうの学習手法についておさらいしてみましょう。 伝統的な学習方法 ふつうのLoRA(モデルも同じ)学習過程では、ノイズを加えられた画像 ( $${x_t}$$ ) を U-Net (最近のモデルは DiT だったりしますが) に通して出てきた予測ノイズ ( $${\hat{\epsilon}_\theta(x_t, t)}$$ ) と、本来のノイズ ( $${\epsilon}$$ ) を比較します。$${L}$$を

[Imamura]

LoRA学習のステップ数を減らせる＝学習時間を短くできる新手法