他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50％以上 イスラエルの研究者らが発表

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt？ A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか

[ya--mada]

なぬ？まったくわからん。？！ 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところから始まる。

[fukuroiri]

高度に技術的な攻撃方法は、実際のところ攻撃自体を防ぐことはできない。なのでユーザーが行うべき対策は「ネットでのやりとりでは機密情報は書かないこと」。抜かれても良い情報のみ書くべし。

[charun]

金出しても個人情報抜かれるなら、些細なセキュリティ設定すら無意味では? マイナとかカードどころか番号でなんでも情報が繋がること自体がヤバい。

[John_Kawanishi]

]

[pixmap]

かなり眉唾っぽいんだけど。仮に有効な攻撃だとしても、エントロピー高めのチャンクをつければ対策も簡単じゃね？

[nemoba]

動画を見ると普通にTLSって並んだSSL通信のパケットキャプチャにたいしてやってるね。さらっと衝撃

[misshiki]

“（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗

[ku__ra__ge]

まずSSL通信からトークンサイズなど意味のあるデータを復元できるもんなのか？それとも通信データの傍受っての一般的なWeb通信とは別の話なのか。

[poad1010]

この記事をおすすめしました

[Seamless]

ユーザとLLMの間の暗号化されたパケット通信を無線等で傍受しそこからLLMが応答した文章を復元する攻撃。GPT-4で生成の1万件を攻撃。最初の方の応答で成功率54%を達成。

[deep_one]

定型文を返すと暗号解読のカギになる、というのを拡張した手法だと思うが、可能なのか。