OpenAIはGPT-2にGPT-4を監視させる方法から将来の超人的なAIの制御方法を探求している | TEXAL

OpenAIは、人間を超える知能を手に入れた人工知能（AI）の暴走をあらかじめ制御する方法を見出すために結成した「Superalignmentチーム」の最初の成果を発表した。 「我々は、超知能-人間よりも圧倒的に賢いAI-が今後10年以内に開発される可能性があると考えている」と、OpenAIの投稿は始まっている。このようなシステムを制御・管理することは大きな課題である。 OpenAIのSuperalignmentチームはその目標のために、社内全体で利用可能なコンピューティングリソースの20％を研究に充てる事が出来るとされている。 このチームの目標のひとつは、人間がRLHF(人間のフィードバックからの強化学習)を通じて弱いモデルを監督するのと同じように、人間やAIシステムが優れたシステムを監督できるかどうか、またどのように監督できるかを調査することである。 人工超知能の文脈では、研究チームは