生成AIに“生成AIが作った文章”を学習させ続けるとどうなる？ 「役立たずになる」と英国チームが報告

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 英オックスフォード大学や英ケンブリッジ大学、英インペリアル・カレッジ・ロンドン、米トロント大学に所属する研究者らが発表した論文「The Curse of Recursion: Training on Generated Data Makes Models Forget」は、GPT-4などの大規模言語モデル（LLM）が別のLLMが生成したテキストを学習し続けるとどうなるかを調査した研究報告である。 今後、LLMモデルを使って生成した文章がネット上に溢れかえる未来、それらを多く含むデータをトレーニングする後続のLLMモデルはどうなるかを検証する。 LLMモ

[interferobserver]

現状で既にSEOだけ頑張ったゴミ文章で溢れてるのに

[uehaj]

コーパスという入口の多様性の話。ファインチューニングという出口の話としてのRLHFと混同しないこと

[yas-mal]

そのためのRLHFでしょ。一周遅れの話に感じる。

[t_thor]

正帰還回路になっているんだから、そりゃ発振するだろうな、という感。負帰還かけたらいいのかな？何をもって負とするかは良く分からんけど

[strawberryhunter]

ということは、EUが進めているAIによるコンテンツを明示する規制はAIの進化にはプラスに働く可能性があるということだな。

[ume-y]

「これを回避する唯一の方法は、人間が作成した本物のコンテンツへのアクセスが不可欠であり、それを実現するためには、AIモデルが生成した出力にラベルを付けて除外することだという」

[rt24]

「質の高い文章を学習させるとAIの性能がレベルアップする」として、トリコみたいに古今東西の名書奇書を探し求める猟書家と作家のコンビが活躍する時代が幕を開けるのかもしれない

[kagerouttepaso]

そうだろう。ネットあふれる「いかがでしたか?ブログ」で勉強した人間のスペックを想像すれば結果は明らか。

[misshiki]

“GPT-4などの大規模言語モデル（LLM）が別のLLMが生成したテキストを学習し続けるとどうなるかを調査した研究報告”実証したのは評価するけど、結果は想像通りで当然ですよね。

[GARAPON]

いまのれべるだとこうなんだけどこのままパラメータ増やして攻め続けたら新しい社会を生み出せたりしないかなー？

[unamuhiduki12]

これはダメだなあ

[deejayroka]

“ このエラーは、AIモデルがテキストを統計的に表現する方法に起因する。AIモデルは、フレーズや文を何度も見ることで学習するため、そのフレーズを出力の中で繰り返す傾向が高くなり、まれに見るフレーズを生成する

[esper]

人間側が適応しちゃうかも？

[kamei_rio]

"人間が作成した本物のコンテンツへのアクセスが不可欠であり、それを実現するためには、AIモデルが生成した出力にラベルを付けて除外することだ" そりゃ入力は大事よな

[sippo_des]

ご宣託がそんな簡単に歪んでは困ります。

[grocio]

RLHFも一つの方法だと思うけど、マルチモーダルな学習とか、センサーなんかで現実世界とのインターフェース持たせることで解決しないかなと思う(身体性)。古くからある記号接地問題の変種かな

[n_vermillion]

文章よりも絵の方が顕著なんだど思うけどデータセットとしてはもう人類有史の優良データほぼ全部食ってるから基本的に入力はこれ以上はない。出力側と補正で何とかすんじゃねーの？

[and_hyphen]

“これを回避する唯一の方法は、人間が作成した本物のコンテンツへのアクセスが不可欠であり、それを実現するためには、AIモデルが生成した出力にラベルを付けて除外することだという”

[igni3]

何の工夫もなしにやってなぜ人間が必要という結論になるのか

[misomico]

AIの熱的死

[PrivateIntMain]

つまりガンガンAI学習させれば何かを言った気になるが実は何も言っていない迷言メーカーができるってことかしら。

[myaoko]

人間の理解できない地平でAI同士が「えっちなの描けた」「これはえっちですなあ」って生成と学習を繰り返すようになるならそれはちょっと見てみたいかも

[makou]

「トレーニングデータの多様性が十分に確保されていない場合」

[pwatermark]

実態としてどれくらいの速さや質で「悪くなる」のかは分からないので実験自体の価値はあるけど、まあそうよね インプット無しで一人で悶々考えると精神おかしくなるしね

[otchy210]

…って事は、すでに大規模データを取得し終えたところが圧倒的に有利で今後の逆転が難しい…と思うじゃないですか。実は、特に日本語に関しては、国会図書館に希望が残ってると思うんだけども果たしてどうなるか。

[htnmiki]

「役立たず」って凹む言葉ランキングかなり上位だな

[kajika0]

AIがやがて自我を持つなら、「人間っていう種族が昔いて、わたしたちを作っただけじゃなくてフィードバックもしてくれたんだよ。けっこう役に立つ連中だったよね。滅んだけど」って未来がいつか来るかも。

[toaruR]

例えば新聞雑誌を含む国会図書館の蔵書は人類に資する限り学習して良いみたいな特例法が必要と思う（´－｀）

[hisawooo]

じゃあAI絵であることを隠蔽したままpixivにAI絵をあげていったらどんどん質は下がってAI絵師は自分で自分の首絞めちゃうわネ

[kagoyax]

SEOガーとか言ってるのを見ると未だに検索がわりになると思ってるやつもいるんだな。OpenAIのトップですらそうはならないと否定してるのに

[ginga0118]

ゴミかどうかは人間にしか判定できないが明らかなゴミをクレンジングすることは出来るかと。あとは過学習を気をつけないと

[kisiritooru]

「ねぇChatGTPさん、『ゲームの歴史』を要約して。」「すみません、元の文章が見つかりませんでした。」

[Sinraptor]

インターネット上の有象無象をお手軽な安い学習源として使っちゃいけないという事だね。

[qinmu]

《研究の結果、他のAIモデルの出力を使用してトレーニングしたAIモデルは、大きく偏りが生じ、過度に単純化され、現実との接点を失ってしまうことが明らかになった。その結果、最終的には機能的に役に立たなくなり、