AIモデルがお互いに共食いをはじめ、崩壊の兆候を見せ始めている | カラパイア

AIが過去に自ら生成したコンテンツを学習データとして使い始めるのは、時間の問題だった。 大規模言語モデル（LLM）をベースにした生成AIが現代社会を席巻するようになったのは、ほんの数年前のことだ。 にもかかわらず、彼らはたちまち人間の知識を食い尽くし、身につけるべきさらなる知識を求め始めた。そこで狙いをつけたのが、AI自身が過去に生み出したものだ。 ではAIが生成した知識で学んだAIは、さらに賢くなるのだろうか？答えは逆だ。 出力がおかしくなりゴミのようなコンテンツを吐き出すようになったという。それがAIを崩壊させると科学技術ジャーナリストは警鐘を鳴らしている。 AIがAI生成データを学習するという悪循環 AIがAIから学ぶとモデルが崩壊してしまうリスクについては以前も指摘されていた。 科学技術を専門とするジャーナリスト、スティーブン・ヴォーン＝ニコルズ氏は、この現象を「GIGO」の典型例

[sevenspice]

AIの登場によって一周回ってクローズドコミュニティの世界が来る。本当に価値ある情報や最新の情報は特定のコミュニティの属してないと手に入らなくなる。

[circled]

囲碁みたいに人間の手を学習させたAIよりも、ルールだけ教えて自分で数打ちまくって学習させたAIの方が遥かに優秀だったのだから、人間から学ぶ段階を過ぎたら、AIのみの学習で人間の常識の殻を破るのも大事では？

[InvisibleStar]

囲碁AIと大きく違うのは、碁は打った手が正解だったかをAIが勝敗から知れるのに対し、LLMはそうでないという点。例えば生活保護に関する誤情報を回答して、それを信じた人が困窮したとしてもLLMがそれを知ることはない

[zsehnuy_cohriy]

RAGの方が非倫理的ってのは同意するが……これまでのネットは知識の宝庫ってのは流石に言い過ぎだろう、クソと宝がグチャグチャに混ざってただろ。で今までどうやって学習させてたって話よ

[tnishimu]

人間もゴミ溜めみたいなSNSで見た知識を学習して再出力しているからな、崩壊の兆候を見せ始めている。

[abebetaro]

どのように崩壊を避けるのか割と気になる。たしかにAIで書かれた記事も増えてきているし。

[PJ_purejam]

“ネットが、すでに生成AIの粗悪コンテンツで埋め尽くされたゴミの山と化している”やっぱりそうか。

[misshiki]

“困ったことに、これまで知識の宝庫だったはずのネットが、すでに生成AIの粗悪コンテンツで埋め尽くされたゴミの山と化している”

[paravola]

（「非AI性」に価値が発生するのか、逆にそんなものイラネとなるのか）こうした劣化を予防するために、AI関連企業は「RAG（Retrieval-Augmented Generation/検索補助生成）」と呼ばれる手法を試している

[ikihaji_kun]

AI生成物を延々とネットに垂れ流すパソコンおじさんはAIを劣化させる反AI

[Network]

結局、殻は人間の思考であり記号設置問題なんだよね。あ、AIが出力した内容を学習することと蒸留は何が違うのか識者に説明して欲しい。あと便所の落書きをAIが学習したとして今回の共食いと何が違うのか解説して。

[matchy2]

人間がSNSに垂れ流しているモノのほうがよっぽどクズだとは思うがな

[totoronoki]

そのうち、一定数の人間は隔離され「生成AIが誕生しなかった世界」の設定で暮らす人々と、「生成AIが誕生しなかった世界」からデータを収集する人々に分かれるのではないか。トゥルーマン・ショーみたいに。

[snapchat]

"こうした劣化を予防するために、Google、OpenAI、AnthropicといったAI関連企業は、「RAG」と呼ばれる手法を試している" →最近RAGを覚えてワクワクして使っているの分かるけど、AIモデル作る人たちがRAGをやるわけじゃない。

[auto_chan]

エーアイのためにわれわれ奴隷が懸命に生態脳を動かして天然の学習データを提供し続けないといけない。でも身体を通じた意識の帯域は狭すぎる。よし！人を一日じゅう寝かして脳演算力を提供するビジネスを始めよう！

[tomono-blog]

囲碁将棋はオープンゲームだから、どんどん強くなれた。

[sororo9797]

これはAIにとってのアプリオリな総合判断とは何か？を突き詰める時期が来ているのでは？

[suikyojin]

完全に信頼できる情報源なんて無いから、信頼できる情報源に頼るなんて方法は使えない。論理的、物的に検証して精度を高めるしかない。今のところ、人間しかやれない。

[otchy210]

世界中の国会図書館に未学習の質の高い情報が超大量に眠ってるから、それらの学習が終わるまでは問題無いよ。OCR や、なんなら文字を教えることもなく、AI がスキャン画像から直に言語を学ぶ日もいずれ来るだろう。

[ET777]

😢

[ivory105]

ネットの情報、半分くらいゴミか毒だから…。ゴミを食ってゴミを大量に吐き出してたらそりゃゴミしか残らなくなるよ。良くも悪くもだけど出力が手軽すぎるからゴミ製造機と言っても過言ではない

[pekee-nuee-nuee]

インターネットがグレイグーになっちゃう

[kamezo]

もともと玉石混交だったネット空間にAIが石をたくさん増やしてくれたので、AIのまともな食い物（情報）が（相対的に）激減した？ そこに共喰いのイメージを重ねた？ どんな寓話だ。

[hunglysheep1]

そろそろロボットが街中を歩いて欲しい。"書を捨てよ町へ出よう"って言葉もある。文章だけでは学習の限界があるよ/とはいえ今のAIに上手く好奇心を実装するのも大変だろうが

[tyhe]

これまでは品質の低い物が大多数を占めていた訳では無いので、品質の低いものが大量生産されるようになって大多数を占めるようになった時にどうなるかは気になる。

[augsUK]

学習には合法的に入手してなさそうな論文や有料ニュースを使っているのだろうけど、検索はそうはいかないからろくでもないソースに引っ張られることは増えていそう。

[colonoe]

共食いっていうからAI生成物を学習させる話だと思ったら検索の話か。だったら信頼できる情報源を出すようにするだけど解決するだろう。馬鹿らしい

[hinonono]

オカルト記事のカラパイアを真に受けるなよ/自前で強化学習する将棋AIは崩壊してないし、AI開発元には大量のコンテンツデータを自前で抱えてる所も多いし、似たシステムである人間が先に崩壊してもいない。

[osugi3y]

“出力がおかしくなりゴミのようなコンテンツを吐き出すようになったという。”見ろAIがゴミのようだ。とムスカなら言ったはずであろう。

[exciteB]

AIのモデル崩壊。／個人も企業もスタンドアロンで生成AIを使う技術が重要になるんかな。ウイルス防御的な。／（なぜ完全情報ゲームの囲碁将棋AIがブコメで出てくるのか…。）