画像生成AIに“AIが作った画像”を学習させ続けると？ “品質や多様性が悪化” 「モデル自食症」に

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ライス大学と米スタンフォード大学に所属する研究者らが発表した論文「Self-Consuming Generative Models Go MAD」は、AIが生成した画像（合成データ）を用いて別の生成モデルが学習し続けると、その精度にどのような影響がでるのかを検証した研究報告である。 結果は、AIモデルを合成データでトレーニングすると、画像が乱れるアーティファクトが徐々に増幅され、品質や視覚的多様性のいずれにおいても悪化する結果を示した。研究チームは、この状態を狂牛病になぞらえて「Model Autophagy Disorder」（モデル自

[doodle305]

AIに生成させたものである証明を埋め込むことが、生成AI自体の品質向上のためにも重要だってことを結果で示して見せたのは、大事じゃないかな。勿論、消費者にとってもそう。

[n-styles]

「視覴」のように、テキスト生成AIでしか使われない単語があることがすでに指摘されてる。この記事の顔に現れる謎の模様と同じだよね。

[kako-jun]

モデルの写真から学習してるせいか、元々美形が多すぎる気がする。ウンガロみたいな離れた目とか、なすびみたいな輪郭とか、杜王町の住民くらいのバリエーションを見たい

[mamemomi]

AI生成の証明埋め込み頼りは、フェイク防止にリアル系画像には行われても、全ての画像には期待できず偏る。AI判定ツールも未だ非実用的。悪化の傾向が分かるなら、学習時にその傾向をフィルタする方が良さそう。

[triggerhappysundaymorning]

そりゃ当然では？って思うけど。コピー繰り返してノイズが増幅されていくかのよう。

[kotobuki_84]

AIの出力物を「アーティファクト」って呼ぶの面白いな。そらまあ人間が作ってるのには違いないけど。

[udofukui]

まぁでも、将棋AIみたく解決するっしょ。

[strawberryhunter]

滑らかなはずの部分に特徴的なノイズが出るので、それが繰り返しの学習で増幅されていくのかな。ノイズを補正するツールもあるので、部分的な対処は可能かもしれない。しかし顔等が平均化されるのは仕方ないのでは。

[yas-mal]

そんなわかりやすいノイズが乗るなら、何のための敵対的学習だか。…って、生成した画像を何のチェックも入れずに使ったら、そうなるか。(ネットに転がってる絵なら、人の目を通ってるからそうはならんよね？)

[ikihaji_kun]

今までもこれからも人力画像に依存したものなのに何故かそれに泥を塗ろうとする生成AI利用者が多いけど反抗期の子供みたい

[splaut]

前のモデルの劣化の時と同様AI生成画像もそれ以外の画像もひっくるめて自動で品質が低いもん弾いて行けばいいんでないかな。偏りはAIの方針毎で。と言うか大量の画像使うなら生成物無いと無理くない?

[hinonono]

実は作れるモデルの特性とそのバランスが増えただけなのでは？歴史や市場、画像の採用等の洗礼を受けた多様で高精度な従来の路線と、傑作の後追い劣化品がボコボコ生えてジャンル化した後のような売れ筋量産特化と。

[ET777]

こわいンゴ

[mopx]

AI狂牛病。

[nilab]

「画像が乱れるアーティファクトが徐々に増幅され、品質や視覚的多様性のいずれにおいても悪化」「研究チームは、この状態を狂牛病になぞらえて「Model Autophagy Disorder」（モデル自食症）と呼んでいる」

[fnskun]

“良好な学習をしたい場合に考えられるのは、実画像データを多く使用すること、そして合成データは電子透かし技術などで選別して使用割合を少なくすることが挙げられる。”

[misshiki]

“AIが生成した画像（合成データ）を用いて別の生成モデルが学習し続けると、その精度にどのような影響がでるのかを検証した研究報告”

[sharaku3eyes]

面白い

[buriburiuntitti]

jpgをjpgで保存繰り返し続けた的な

[meishijia]

勇次郎も『毒も喰らう、栄養も喰らう。両方を共に美味いと感じ―――血肉に変える度量こそが食には肝要だ』って言うてたしなAIとて避けては通れぬ道よ...

[sutego386]

いわゆるAI痣である

[kei_1010]

そらそう、なんだが、もしこれが向上するようなら、それはシンギュラリティの第一段階と言えそう。しかし、そんな事はまだまだまだまだ起きないだろう。

[rogertroutman]

テキストでも十分起こりうる話ですよね。Web文献を漁るタイプのAIにはAIが濫造したブログを摂取しないように自己判別などの対策をとる必要がありそう。

[takayaman]

GANとDiffusionモデル、人手による選別が入るかで、繰り返すと傾向が変わる。波打つアーティファクトが出るか、ぼやけるか、多様性が減るか。

[Seamless]

頬に波状のアザが出現する悪化。高品質のAI生成画像や人力の絵を混ぜても劣化を遅らせるに過ぎない。AI生成画像に電子透かしを入れ判別し人力の絵をより多く採用するのが解決策。