「AIに毒を盛る」──学習用データを改ざんし、AIモデルをサイバー攻撃 Googleなどが脆弱性を発表

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米Google、ETH Zurich、NVIDIA、Robust Intelligenceに所属する研究者らが発表した論文「Poisoning Web-Scale Training Datasets is Practical」は、学習用データセットの一部を改ざんし、それらを学習した機械学習モデルを攻撃する手法を提案した研究報告である。 機械学習モデルの学習用データセットには、インターネットをクロールして収集した大量のデータサンプルが含まれるWebスケールデータセットがある。だが、これらの収集したデータの信頼性が保証されているわけではない。信頼性を保証す

[deep_one]

SEO的なものが発生するのは道理。／「WikipediaのようなWebサイトでは、データのクロールを阻止するために」日本語がおかしい。「クロールを阻止する代わりに」か？

[tattyu]

Googleが散々SEO推奨してやって来た事じゃん。

[misshiki]

“学習データセットに使われる前にデータへ毒（悪意ある改ざん）を仕込み、それらを学習した機械学習モデルを攻撃する手法を提案。このような攻撃を「データポイズニング」（Data poisoning）と呼び”

[pwatermark]

SEOと同じことになるってのはちょっと前に予言したけどね GPT-4に「有効な情報」と誤認させて広告を喋らせる、というやつ

[nisisinjuku]

MSのAIbotが以前これを演じてたね。（ガチだったの？）⇒Googleは検索分野でSEOという名称でこの手の攻撃を喰らい続けてるから、攻撃側に移ると割と洗練されたアクションができるのかもね☆（えっ？攻撃側ではないの？）

[sho]

以前から言われていたモデル汚染攻撃に、大規模データ版の実例が出てきたという話

[shunkeen]

AIのモデルには、特定の学習データに紐づくパラメータが存在しなくて、すべての学習データが渾然一体となってしまうところが、やっかいそう。全身に回った毒は摘出できない。アンラーニングの研究が進むといいね。

[straychef]

そのうちAIが判断してくれるよ　どこまでアテになるかわからんけど

[quwachy]

黒人は犯罪率が低いとか書くのか？

[iwiwtwy]

囲碁AIに初学者が勝つ、みたいなことで簡単にできそう

[fnskun]

“具体的には、攻撃者が期限切れのドメインをいくつか購入し、Webサイト内を変更することで攻撃を行う。”

[Seamless]

ネット公開データを大量学習するモデルを攻撃。方法は期限切れのドメイン購入で改ざん,Wikipedia改ざんで攻撃。人種や性差別バイアスの悪化,バックドアを仕込みモデルを制御等。