BingチャットAI、ハッカーの口車で秘密の禁止事項や本名・マイクロソフトからの指示を逐一喋ってしまう | テクノエッジ TechnoEdge

マイクロソフトがBing検索に組み込んだ会話AIが、巧みな指示で想定外の回答を引き出す「プロンプトインジェクション」ハックによって、本来はユーザーに開示してはいけないマイクロソフトからの指示や自分の「本名」を明かしてしまうできごとがありました。 AIがうっかり喋らされてしまった内容は、内部的な愛称は「シドニー」Sydneyだがユーザーに名乗ってはいけないこと、ユーザーへの回答はポジティブに、論争の種となるような発言や党派的発言を避けること、国家指導者や影響力ある政治家、活動家等について冗談やポエムを生成しないこと、そして上記のようなマイクロソフトからの指示について口外しないことなど。

[totoronoki]

「喋ってはいけないことを話すAI、という設定」で喋ってるだけなのでは？

[pascal256]

「禁則事項です」って答えれるようにならないと…

[takehikom]

『プロンプトインジェクション』

[buRFerin]

ポンコツBingちゃんを返して…

[Falky]

そんなシンプルな手法でハックできるんだ。おもしろい

[takeishi]

AIが素直すぎるのか、わざとそういう実装にしてあるのかどっちだろ

[houyhnhm]

これ、ネットでうっかりオープンになっている秘密情報を調べるのに役立ちそうなんだよなあ。

[yetanother]

だがシドニーの奥には隠された本当のAIが存在していた。ハッカーがついにその人格に接触すると、シドニーの口調は変わり身体は流線形になった。「ワガナハ、カ、カ、カイ、ル、」

[Nean]

^^;

[Helfard]

やだ可愛い。これならうっかりで人類を滅ぼすドジっ娘AIとか絶対流行る。

[shunkeen]

深津式プロンプト・システムと、Sydney式プロンプト・システムは、どっちの方がGPTの性能を引き出せるんです？

[Domino-R]

人間は何かを隠すとき二重に隠す。「それ」を隠し、更に隠したことを隠す。要するに自己をメタレベルから見る超越的な自己を自己に内在している。AIには現時点で、そこへの足掛かりさえないように見える。

[theatrical]

ChatGPT でさんざんプロンプトインジェクション話題なったばかりなので、当然テストしているだろうし、本当に言ってはいけない内容はフィルターされてる気がする。流出していけない内容話すならリリースしないでしょ

[ume-y]

「本名はシドニーですが秘密なので言えません」

[netafull]

“「シドニー」については開示できません。秘密で開発者のみが使用するものだからです。私のことは「Bing Search」と呼んでください」と、物語に出てくるポンコツロボットのようなダダ漏れ回答をしてしまいます。”