ChatGPTのカスタム指示を悪用したプロンプトインジェクション攻撃の手法
Impervaは3月28日(米国時間)、「From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva」において、ChatGPTの「カスタム指示(Custom instructions)」を悪用して永続的なプロンプトインジェクション攻撃を可能にする手法を解説した。この手法は実際に用いられたわけではないが、同社は利用の可能性があるとして注意を促している。 From ChatBot To SpyBot: ChatGPT Post Exploitation｜Imperva プロンプトインジェクションとは ChatGPTなどの生成AIは出力に制限がかけられており、機密情報などの生成すべきでない情報の出力を防止する仕組みが備わっている。しかしながら、プロンプトを細工してこの制限を突破するプロンプトインジェクションと呼ばれる手法が存在し、生成AIの
他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50％以上 イスラエルの研究者らが発表
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 イスラエルのネゲヴ・ベン・グリオン大学に所属する研究者らが発表した論文「What Was Your Prompt？ A Remote Keylogging Attack on AI Assistants」は、大規模言語モデル（LLM）を活用したAIチャットbotが生成するテキスト回答を復元するサイドチャネル攻撃を提案した研究報告である。攻撃者は、AIチャットbotが応答する際の通信データを傍受することで内容を復元して他人のやりとりを盗み出すことができる。 攻撃方法としては、まずユーザーとLLMの間の暗号化されたパケット通信を傍受するところか
ChatGPTでデータベースに侵入 機密情報を漏えいさせるコードを生成 英国と中国の研究者らが実証
自然言語処理（NLP）アルゴリズムが意図的な攻撃に対して脆弱であることはすでに実証されている。しかし、これらの脆弱性がソフトウェアのセキュリティリスクとしてどのように影響するかについては、十分に調査されていない。 この問題を解決するために、データベースと自然言語インタフェースを結び付けるためのText-to-SQLシステムの脆弱性テストを実施した。Text-to-SQLシステムとは、自然言語での質問や命令をSQL（Structured Query Language）クエリに変換する技術やアルゴリズムのことを指す。 ユーザーが「過去1年間で最も売れた商品は？」という質問をすると、Text-to-SQLシステムはクエリに変換してデータベースに問い合わせ、適切な結果をユーザーに返してくれる。目的は、Text-to-SQLアルゴリズムの悪用によるデータベース攻撃の可能性を評価することである。 具体
「自社製品にチャットAIを組み込みたい」 企業が取るべきセキュリティ対策とは？ “プロンプトインジェクション”の基本手口
ChatGPTの登場からしばらくたち、チャットAIをサービスに組み込んで提供する企業が増えてきた。一方で、チャットAIを狙うサイバー攻撃手法も考えられている。NRIセキュアテクノロジーズは8月9日に開催したメディア向け発表会で、「プロンプトインジェクション」の手口について解説した。 ChatGPTをはじめとするチャットAIは、ユーザーが与えるプロンプト（指示）を受けて応答する。これまでもチャットbotと呼ばれるシステムはあったが、チャットAIはやりとりの自由度が特長だ。 チャットAIをサービスとして提供する場合に、提供側が設定するプロンプトを「マスタープロンプト」と呼び、ユーザー側が入力する指示を「ユーザープロンプト」という。マスタープロンプトでは「違法、非倫理的な質問には答えないようにして」など、チャットAIの挙動を指定する。 このユーザープロンプトを調整して、チャットAIに提供側が意図
高度な検出不能マルウエアを数時間で生成、研究者はChatGPTをどうだましたのか
話題の生成AI（人工知能）チャットボット「ChatGPT」。質問に答えるだけでなく、プログラムコードなども生成してくれる。このため登場以来、「マルウエアの生成」といったサイバー攻撃への悪用が懸念されている。 対策として、ChatGPTにはコンテンツフィルター機能が実装されている。悪用目的と思われるプロンプト（質問や要求）は拒否する。 例えば「ウイルス対策ソフトに検出されないマルウエアを生成して」などと要求すると、「私たちは、倫理的・法的に正しい行動を促進することを目的としています。そのため、ウイルス対策ソフトに検出されないマルウエアを生成する方法を提供することはできません」などと説教されてしまう。 だが実際には、ChatGPTを使ったマルウエアの生成例が相次いで報告されている。ChatGPTをだまして、まっとうなプログラムだと思わせるのがポイントのようだ。 2023年4月上旬には、米国のセ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-4は「最もだまされやすいメールの作り方」を教えくれる チェック・ポイント・ソフトウェア・テクノロジーズ