3つの要点 ✔️ GPTシリーズのような汎化性能の高いモデルでさえ訓練データを記憶してしまい、それが情報流出につながる ✔️ GPT-2に実際に攻撃をしかけ、最大67%の精度で訓練データを抽出することに成功している ✔️ 大きなモデルほど訓練データを記憶する能力が高く、昨今のモデルを巨大化させる風潮に一石を投じた重要な論文となっている Extracting Training Data from Large Language Models written by Nicholas Carlini,Florian Tramer,Eric Wallace,Matthew Jagielski,Ariel Herbert-Voss,Katherine Lee,Adam Roberts,Tom Brown,Dawn Song,Ulfar Erlingsson,Alina Oprea,Colin Raff