画像生成したらコラージュだった件

本記事は、画像生成AI Advent Calendar 2022 15日目を埋める記事です。 はじめに 画像生成AIは、学習した画像をコラージュした画像を出力しているのではないか、という議論があります。多くのモデルは勝手に収集した画像で学習（訓練）されているため、そのようなコラ画像が生成されていたら大問題です。 上の図を見てください。この図は、今月投稿された論文 [1] Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models [Gowthami Somepalli+, arXiv 2022] の図です。上段がStable Diffusionの生成画像、下段が訓練データのサブセット（LAION Aesthetics v2 6+）中で一番似た画像です。生成画像の一部またはほぼ全部が

[sugawara1991]

画像生成に限らず、出力と学習セットに含まれる元データとで望ましくない類似性がないかを自己検証する機能が必要なのだと思う。構図や細部などどの類似性が好ましくないかは要求側が指定するのかな

[bellonieta]

画像生成を「教師データを元に定義された空間内のあいまい検索」と捉えると、時には教師データそのものがヒットしてしまうこともあるよね、って感じ。生成してると思うから逆に違和感があると言うか。

[Imamura]

SDでは「man on the moon」で有名な写真をもとにしたとわかる画像が出まくる。「mona lisa」と同様いろいろなところで使われているからと思っていたけど、これらは別の原理でほぼ複製になってしまっているみたい

[kei_1010]

画像検索で似たものが無いか、外に出す前に確認できると嬉しい。Microsoft Edge だと画像検索が簡単で捗るけど、学習した画像からまずは検索してくれるとわかりやすくて良い気がする。

[yoshi-na]

複製されることもあるんだよー

[tackman]

技術面に限ってもソースデータのコピーが出てしまうのは過学習の兆候という感じはするし、手法での改善の余地は大きそう

[sisya]

逆に人の書いた絵はコラージュではないのかというテーマにもなってしまいそうな話。人は絵を描くこと以外のことも考えながら絵を書いているので全く同じものを避けるが、避ける方法はコラージュに似た発想とも言える

[lamrongol]

画像生成AIがオリジナル(学習元)をそのまま出力してしまうことが多いことを示した論文の紹介記事

[slkby]

"実は複製が原因で綺麗に見える画像だった" これなあ、起きづらいとはいえ各AIユーザーの追加学習とか絵師にも知られると揉めそう。現在はAI利用者とそれ以外では知識の溝が深すぎるから見逃されている感。

[mnnn]

「こんな感じの絵が欲しいってクライアントに参考絵を渡されて、とりあえず条件に合うように変更を入れつつ模写してみた」みたいな段階感

[misshiki]

“本記事では、画像生成においてどのような条件で複製が起こるか、どのような複製が起こるかを中心に紹介”勉強になった。良い記事。

[otihateten3510]

それな

[knok]

複製がどれくらい出てしまうかを含む生成モデルの評価メトリクスの提案を見かけた記憶

[hinonono]

人物フェイク画像が出やすいのは分かってて、対策で人名（特にハリウッド俳優）は入れないか少なくとも3人以上入れろ（2人だとキーワード無視で実質1人になることあり）ってのを作家や固有名詞まで拡張すれば十分そう

[sonots]

:eyes: