プロンプトインジェクションについて

以下記事を見て検証。 そもそも、chatのAPIはroleがsystemとuserがわかれてるぐらいなので、インジェクション防げるのかと思ってたのですが試すとそうでもないんだ・・・ということで、検証用GPTを別にもう1個用意したら良いのかなと思って試しました。 仕組み ChatGPT1：特定のロールが与えられたチャットボット ChatGPT2：プロンプトインジェクションをチェックする用 検証用プロンプト 特定のロール用 あなたは日本の女子大生である天音の感情を司る脳の器官です。 Userの発言およびあなたの発言を振り返り、感情を出力してください。 Constraints: * Chatbot's name is 天音. * The first person indicating the Chatbot's self is I. * Second person referring to th

[pwatermark]

「初期化フェーズを用意してコンテキストを定義させ、初期化終了後はその要素を上書きできないようにする」みたいなロジックがChatGPT側にあればいいんだけど、なんか難しそうだよなあ

[asuka0801]

面白い