自己制御する汎用人工知能 - himaginary’s diary

というNBER論文をトロント大のJoshua Gansが上げている（ungated版）。原題は「Self-Regulating Artificial General Intelligence」で、Gansは昨年11/15のDigitopolyエントリで内容を紹介している。 以下は論文の要旨。 This paper examines the paperclip apocalypse concern for artificial general intelligence. This arises when a superintelligent AI with a simple goal (ie., producing paperclips) accumulates power so that all resources are devoted towards that goal and are

[gruza03]

即ちペーパークリップAIは、自己改善の方向を誤ると自らの破滅を招く可能性がある。

[maeda_a]

「人間の中には自らの破滅を招くAIを開発する者がどうしても出てきてしまうだろうが、ペーパークリップAIが超知能ならば人間よりも賢いのでそうした危険性を十分に認識し…」