AIの問題行動検知に「思考の連鎖」の監視が有効な可能性--OpenAI発表

人工知能（AI）の問題行動を検知するには、モデルが応答を出力するまで待つのではなく、応答を「思考」している段階を監視すべきだ。そのように考えたOpenAIは米国時間12月18日、「監視可能性」に焦点を当てた研究論文を発表した。監視可能性とは、モデルが推論する際の「思考の連鎖」（CoT）に基づいて、人間の観察者やAIシステムがそのモデルの挙動を正確に予測できる能力のことだ。この見方に立てば、モデルが人間にうそをついたり人間を欺いたりしようとしても、その目的を達成できなくなることが期待される。人間の側が分析ツールを利用して、推論の最中にそのような行為を見抜き、介入するようになるからだ。 この研究で明らかになった主な知見の1つは、CoTの出力の長さと監視可能性の間に相関関係が見られたことだ。つまり、モデルが自らの推論プロセスを段階ごとにより詳しく、より長く説明するほど、そのモデルの出力を正確に予