悪意持つAI集団が“人間のふり”で大量に会話→偽世論で情報操作 次世代プロパガンダの脅威、国際チームが警告

2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。X： ＠shiropen2 ノルウェーのSINTEF、ドイツのマックス・プランク研究所、米イェール大学、米ハーバード大学など世界各国の研究者らがScienceで発表した論文「How malicious AI swarms can threaten democracy」は、自律型AIエージェントにより、情報操作の手法が根本的に変わろうとしている研究報告だ。民主主義にとって深刻な脅威になりうると警告している。 従来の情報操作は人間

[kazatsuyu]

AIそのものに悪意がなくてもそれを使ってそういう出力を垂れ流させている人間には悪意があるからなあ

[s-supporter]

自立型AIとは言えども、悪意を持つように学習させ、それに伴う行動を自動で行うように命令しているのは、それこそ悪意を持った人間ということでもあるわけで。

[Sigma]

「SNSで見た」が「ネットで読んだ」「テレビで見た」ぐらいに嘲笑される時代が来ただけ。なんかおかしい、と勘づいたら、そのコミュニティからは離れるのが吉

[take-it]

じゃあXやYouTubeやTikTokがこれに対応するかと言われると。

[ustam]

客観的に「悪意」と名づけるに相当するアウトプットということでしょ。人間の意識や人格だって、詰まるところは電気的な計算処理のアウトプットでしかないんやで。

[inaken1980]

こういうタイトルがキャッチーだとは言え、「悪意を持ってAIに目標を与えた」が正しいよね。拡大解釈した物語化を安易に行うことに危惧を覚えるよ

[pikopikopan]

人間の悪意をAIに押し付けない方がいいと思う・・／電話機（スマホ）やパソコンって機器の名前出さないよねえ。犯罪は犯罪なので、酒飲んで事故起こしたみたいに罪の重さ付与したらいいのでは。

[otihateten3510]

なんなら炎上やバズも作り出せるんだよねこれ。そこそこの予算で。そんでXはそのインプレッションにカネを払う。広告収益は下がる。

[replier]

「皆が言ってるから正しい」という考えが完全に否定されるならそれも進歩なのかもしれない。

[bize]

AIを使えばSNSは1人の悪意でも影響を及ぼせるコントロール可能な空間になり得るという事。ネットから観測できる情報を物量作戦で占有できてしまう。何も対策がないなら民主主義はインターネット以前に後退するかもね

[call_me_nots]

https://zenn.dev/shio_shoppaize/articles/5fee11d03a11a1 ←が小規模ながら成立しているわけだから、これは本当にこういう世の中が来る（来ている）と思って日々生きないと簡単にヤられちゃうよ現代人。

[Karosu]

カルトコミュニティに変質させるウイルスかなにかなのか？

[mayumayu_nimolove]

Xやヤフコメのロジック方式だな

[kamei_rio]

"AIの群れが大量の偽情報をネット上にばらまくと、それが将来のAIの学習データに紛れ込む。すると次世代のAIは、うそを事実として覚えてしまう" AIは賢くないから難しいな

[algot]

遠隔自動操縦型のスタンドみたいなもんか

[houyhnhm]

んー、多分読む方もbotが大半だとは思う。

[vegnpomn]

「悪意持つAI集団」に「AIには自我がない！煽りクソタイトル！」って噛みついて悦に入ってる典型的発達障害者ムーブ丸出しのブクマカが多くて気持ち悪いなあと。今はAIでもずっと省略されてる文意を汲んで読めるよ

[nito210san]

内容理解しないままAIに要約させて適当にキャッチーなタイトルつけた粗造記事ほんとに増えたよな

[kagehiens]

もうマイナンバーを紐づけるしかないな!?

[yamadar]

ああ、確かにあり得るな。人間certifiedな仕組みがあっても声でか情報洪水戦術に戻るだけだし、どうするべきかな

[go_kuma]

いよいよ攻殻っぽくなってきたなぁ

[rs-mt]

“「このアカウントは人間だ」と証明できる技術の普及”これかな・・・ただこれだけではダメなわけで。

[hogeaegxa]

はてブは今でもAIブクマカなんかが平気で活動して自動的にブクマしてコメントも書いてる場所なので、こういう攻撃にまず太刀打ちできないが、今後はどうなっていくんだろうね

[tanority]

“1人の攻撃者が数千体のAIペルソナを操り”

[Galaxy42]

やはー　ぷるるっ　へいほー

[akiat]

会話モードを使っていたら、急に中国語になった

[fuzitahoushirou]

あの検索してはいけない言葉かな？

[hozho]

“AIの群れ特有の「不自然な連携の動き」をリアルタイムで検知するシステムの導入や、プライバシーを守りつつ「このアカウントは人間だ」と証明できる技術の普及が必要になる。”

[unmarshal]

デカルトのように全てをAIと疑って最後は自分の存在だけが真実になりそう

[misshiki]

AIエージェントの大量会話で偽世論が形成される可能性を研究が指摘。自動で人間のような発言を生成し、SNS上で民主的議論を攪乱するリスクが懸念される。

[miragestlike]

インプレゾンビめ

[number917]

プロパガンダとか詐欺がとにかく捗るのがAI

[azumi_s]

確かに実行出来るよなぁ…。

[ultrabox]

法的・技術的なAI規制は何らか可能だろうし、そろそろやるべき