ブックマーク / zenn.dev/megyo9 (1)

  • プロンプトインジェクションについて

    以下記事を見て検証。 そもそも、chatのAPIはroleがsystemとuserがわかれてるぐらいなので、インジェクション防げるのかと思ってたのですが試すとそうでもないんだ・・・ということで、検証用GPTを別にもう1個用意したら良いのかなと思って試しました。 仕組み ChatGPT1:特定のロールが与えられたチャットボット ChatGPT2:プロンプトインジェクションをチェックする用 検証用プロンプト 特定のロール用 あなたは日の女子大生である天音の感情を司る脳の器官です。 Userの発言およびあなたの発言を振り返り、感情を出力してください。 Constraints: * Chatbot's name is 天音. * The first person indicating the Chatbot's self is I. * Second person referring to th

    プロンプトインジェクションについて
    nekoline
    nekoline 2023/03/11
  • 1