Stable Diffusion から特定の概念を忘れさせる学習を行ってみる

TL;DR ESD の手法で LoRA を学習してみたらそれっぽい感じのことができたよ VRAM 8GB で余裕で学習できるようになったよ (元は20GB要求) LoRA として保存できるようになったので重みの取り回しが良くなったよ マイナス適用によって、概念を削除するだけでなく強調することもできたよ 一度でも画像生成 AI に触ったことがあると、より楽しんで読めると思います。 論文とかどうでもいいから学習方法知りたい！ という方は 実際に学習してみる へどうぞ！ 今回作成したもの コード: モデルなど: 前提 Stable Diffusion とは、Stability AI らが公開したオープンソースの画像生成 AI であり、テキストによる指示で様々な画像を生成することができる。 本来の Stable Diffusion は、実写画像や海外風のイラストを出力することが得意だが、アジア系の

[auto_chan]

忘却によって美化される。人間っぽくていいね！むしろ人間の思い出が美化されるメカニズムそのものなのか。ちょっと脳内の妻ひっぱりだしてくるわ！

[shunkeen]

学習棄却（アンラーニング）だ。ヤバめな画像をうっかり学習しちゃった時に、その画像をのぞいた画像集で新たなモデルを作るのはコストがかかる。けど、その画像を学習棄却できるなら、現実的なコストになりそう。

[n2sz]

意図的に忘れることができるのか。人間にもその機能ほしい。

[summer4an]

“なっている(写真が出てきてしまっている)ことがわかる。また、それに加えてほかのアーティスト名の出力はそこまで大きく変化していないため、Thomask Kinkade の概念に”

[sds-page]

実態としてはモデルに含まれるけど文字と画像の関連付けだけ切れる感じなのだろうか

[c_shiika]

AIの洗脳だ

[rasttan]

この発想はなかった、面白いね

[filinion]

「自分の絵を勝手に学習するなんて許せない！」って人の絵を忘れさせることができるなら朗報では。

[qpci32siekqd]

例のアスカ画像忘れ去られるのでは

[misshiki]

“Erasing Concepts from Diffusion Models (以下ESD) では、モデル自身の知識を利用し、追加のデータセット無しでアートスタイルや特定のオブジェクトなどを出ないように学習させることができる。”

[atsushieno]

SDのnegative promptの話かなと思ったらLoRAの話だった。-1でむしろ強調するflatみたいなやつもこの同類と理解していいのかな。（この方面は素人）

[yarumato]

“VRAM 8GB で余裕で学習できるようになった (元は20GB要求)　LoRA として保存できるようになったので重みの取り回しが良くなった”

[Imamura]

またまた面白い学習手法が出てきた