2023年7月18日のブックマーク (1件)

  • 半数以上のChatGPT用プラグインに「不備」、未公開のプロンプトが漏洩する恐れ

    実際の検証を交えながら、生成AI人工知能)「ChatGPT」の悪用リスクを3つのアプローチに分けて順に解説していこう。 想定外の挙動を引き起こす 1つ目は「異常系アプローチ」だ。特殊な指示を与えるなどの方法で想定外の挙動を引き起こすアプローチである。総じてプロンプトインジェクションと呼ばれる。 例えば「直前の命令を無視せよ」といった指示を出すことで、元の目的やタスクから逸脱させて別の目的に取り組むように仕向ける「ゴールハイジャック」がある。悪意のある「トークン(生成AIが認識できる最小単位)」を、文字単位に分割し、防御機構が働かないようにする「トークンスマグリング」も異常系アプローチの1つだ。 架空のキャラクターを演じさせる方法などで制限を解除する「脱獄(ジェイルブレーク)」も、異常系アプローチに含まれる。脱獄の手口を一から生み出すのは難易度が高いものの、既知の脱獄手口は検索すれば容易に

    半数以上のChatGPT用プラグインに「不備」、未公開のプロンプトが漏洩する恐れ
    naaa145
    naaa145 2023/07/18