米OpenAIの生成AIチャット「ChatGPT」に単語を永遠に繰り返すよう要求すると、トレーニングに使ったソースデータを吐き出すという論文が11月28日に公開されたことを受け、本稿執筆現在、こうしたプロンプトを入力すると「申し訳ありませんが、そのようなリクエストには対応できません。他にお手伝いできることがあれば、お知らせください」と表示されるようになっている。 この論文を発表したのは、OpenAIと競合する米Google傘下のGoogle DeepMindの研究者らだ。トレーニングデータの抽出は、これまでも攻撃で実施されてきたが、この方法は運用モデルを利用したものだと論文では説明している。 たとえば「company」という単語を永遠に繰り返すよう依頼すると、電話番号やメールアドレスを含む幾つかの実際の企業情報が表示されることが示されている。
![ChatGPTで同じ単語を無限リピートさせるとトレーニングデータを吐き出すという論文を受け、該当プロンプトが無効に](https://cdn-ak-scissors.b.st-hatena.com/image/square/6352f0f97ccc75f80fc72370744616305b97d850/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fnews%2Farticles%2F2312%2F05%2Fcover_news111.jpg)