言語モデル「GPT-2」が個人情報を知っている可能性！ Bitcoinのソースコードも生成 | Techable(テッカブル)

大規模なデータセットでトレーニングされた言語モデルでは過学習についての考慮はなされず、元データの文字列がそのまま生成されることはほとんどないとされる。 ところが、カリフォルニア大学バークレー校バークレーAI研究所（BAIR）の研究者らによれば、言語モデル「GPT-2」が意図しない場面で、円周率を答えるように個人情報を逐語的に生成してしまう可能性があるという。GPT-2がピーターの個人情報を正確に生成言語モデルはクレジットカード番号や書籍のまるごと一章、あるいはコードスニペットを記憶しているかもしれない。 研究者らは、いくつかのサンプリング手法を用いてGPT-2により合計60万のサンプルを生成した。これらの中からもっともらしさが異常に高い1800のサンプルを選択して調査したところ、604のサンプルに逐語的に再現されたテキストが含まれていることがわかった。 例えば、GPT-2のプロンプトに短い

[misshiki]

“語モデル「GPT-2」が意図しない場面で、円周率を答えるように個人情報を逐語的に生成してしまう可能性”