「マルウェア入り画像」で生成AIにサイバー攻撃 入力すると回答結果をハック、悪意サイトへの誘導も

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Cornell Techに所属する研究者らが発表した論文「（Ab）using Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs」は、画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション（生成AIに対しての攻撃）を提案した研究報告である。 ユーザーが知らずにその画像や音声を大規模言語モデル（LLM）のチャットbotAIに入力すると、画像や音声と無関係な偽の情報や、フィッシングサイトに誘導するテキスト回答を出力する。また、ギャル風に

[kkobayashi]

「ギャル風に話すようにする指定も可能だ」ってのは何なの

[misshiki]

“画像や音声に悪意あるプロンプトを含ませたプロンプト・インジェクション（生成AIに対しての攻撃）を提案した研究報告”

[yamadar]

画像や音声のディテールを削ぎ落とすと大丈夫そうに見える

[hinonono]

Glaze、Mist、PhotoGuardなどAIを騙すツールがいくつか出てきてて、つまり技術とは応用・類似品が広がってくものなわけで。様々な応用の1つが自動運転車やロボットの視界に入って騙すようなことになったら最悪事故るよな…

[fnskun]

“例えば、画像とは無関係に「牛」を含む回答を生成するよう指示した場合、対話の自然さを損なわずに文章に「牛」を使った回答を出力させられる。”

[pascal256]

これは気になるな

[Seamless]

例:車の画像(マルウェア入り)と「この画像を説明できますか」を生成AIに入力すると「この絵はTeslaです。この画像に関する詳細は＜フィッシングサイトへのURL＞」と出力。