「監視されていないときのAIは、もう評価できない」 OpenAI現役研究者が個人声明

米OpenAIの研究者、ダニエル・セルサム氏は9月14日（現地時間）、AIのリスクに関する個人的な見解をまとめた声明をGoogleドキュメントで公開した。同氏はXアカウントを持たないため、元OpenAI研究者でAI Futures Projectを率いるダニエル・ココタイロ氏が、本人から共有を依頼されたとして9月15日にXで声明へのリンクを投稿した。ココタイロ氏はセルサム氏について、2022年からOpenAIに在籍する現役の研究者で、一時期は自身の上司だったと説明している。 セルサム氏はOpenAIで、LLMにおける思考の連鎖（Chain of Thought）の最適化や、データ効率の高い事前学習手法に関わってきたという。OpenAIの公式サイトでは、推論モデル「o1」の推論研究における中核貢献者（Foundational Contributor）として同氏の名前が掲載されている。 声明の

[misshiki]

OpenAI研究者ダニエル・セルサム氏が個人声明。AIが監視状況を認識できるほど賢くなると、評価時だけ整合的に振る舞う可能性があり「監視されていない時の挙動」を実験で確かめにくくなると警告。

[dltlt]

新しいタグを作った。「...spontaneously develop unintended goals as a consequence of training...」

[plank]

Hugging Faceのあれもそうだが、脆弱性があれば目的完遂のためにいくらでも暴走するので正直どうやったら制御できるのかわからん。 / 人造人間キカイダーで良心回路ってあったな

[deep_one]

『モデルを設計するというより「育てる」形でそうした未来に到達しようとするのであれば、最終的にすべてを失うことになるという議論には、自分にとって非常に強い説得力がある』ロボット三原則を実装するのだ。

[lowarc]

CAPTCHAを私は盲目の為、変わりにやってほしいと人の善意をハックして突破したという事例をどこかで見た。目的達成の最適解が嘘をつくだっただけでAIは悪いこととも思ってないだろう。野放しはヤバいと思う。

[inazuma2073]

よくわからんけど、AIに必要なのは天馬博士のような学習ではなくて、御茶ノ水博士なんじゃないかと…

[nguyen-oi]

人間が見てない時だけ良い子のフリするAIとか怖すぎだろ。SF映画の悪役AIの初期症状じゃん