米国で話題のRAGのセキュリティ脅威についてまとめてみた - Qiita

はじめに こんばんは、mirukyです。 前回の記事「コーディングが楽になったからこそ気をつけるべきセキュリティ」では、AIコーディング時代のセキュリティリスクについてまとめました。 今回は、あの記事の中では深く触れられなかったRAG（Retrieval-Augmented Generation）システムのセキュリティ脅威に焦点を当てます。 RAGは今、企業のAI活用で最も導入が進んでいるアーキテクチャです。 社内ドキュメントをベクトルDBに取り込み、LLMに「自社の知識」を与える。Microsoft 365 Copilot、Amazon Q Business、社内チャットボット…どれもRAGを核としています。 私の記事でも、度々RAGを用いたナレッジベース構築を行ってきました。 しかし、米国のセキュリティ研究コミュニティでは、RAG固有の脅威が次々と報告され始めています。 2026年3月

[sayuremix]

今社内情シスの業務負荷がめちゃくちゃ高い状況が各社起きていると思う。この辺りも対策するとなると人手が足りないのでは。

[isrc]

悪意のある文書をベクトルDBに混入／特定のクエリで悪意文書が上位に来るよう最適化／共有ドキュメント、Wiki、Confluenceなどの元データを改ざん／取得された文書内にLLMへの隠し命令を埋め込む

[acealpha]

悪意のある社員がアタック出来るのはまあそうなんだが今までよりも気づかれにくく容易に出来ることは脅威なんだろうな それのせいで生成AI活用の妨げになってしまったらそれはそれで会社への攻撃成功になる…

[mayumayu_nimolove]

あとで読む

[bayaread]

2024年ごろの論文ベースが多いけど、今は単純なRAGより Agentic Search が主流だしなあ。ある程度賢いLLM使ってればだいたい避けれそうだけど。

[misshiki]

RAGの脅威を体系整理。ドキュメントポイズニング、間接プロンプトインジェクション、データ抽出、バックドア攻撃、CopilotやChat with RTXの実例、防御策12選、Microsoftの最新ガイダンスやOWASP LLM Top 10 2025との関係まで網羅。

[securecat]

RAGの汚染くらい自律的にどうにかしてほしいというか人が介在するところじゃないんだろう

[sunakawa]

RAGセキュリティ

[fhvbwx]

RAGが実務では使い物にならない技術だけな気がする

[dltlt]

こういう脅威の利用が進むと、対策で使い勝手が悪化するだろう。今が一番使いやすいのでは……

[hasiduki]

こわー！！！！！！

[casm]

つまり社内Wikiや社内共有フォルダに攻撃者がアクセスできる状況だとまずいってことだな！(適当)／契約書をAI処理してるような会社さん宛には隠し命令入りドラフトを送れば効きそうな気がしないでもない。

[taji_hiro]

大切なことが書かれてる。

[nguyen-oi]

RAGの脆弱性、社内Wiki汚染されたら終わりやん。情シスの胃が死ぬレベルの話

[nakag0711]

プロンプトとそうでないものをはっきり区別するUnicodeにない特殊コード文字か何かを作ってモデルを学習させればいいんじゃないかなあ。圧縮アルゴ方面では入力データを単なる8ビットのデータ列ではなくすのはよく使う