AIに必要な「ルールのルール」 - 🐴 (馬)

AIが文章やコードを速く作るようになればなるほど、人間によるレビューや決裁、品質保証といった、人間の意思決定がボトルネックになっていきます。その状況が続けば、企業はAIに人間への提案をさせるだけでなく、一定の条件の下で、判断と実行まで任せようとするでしょう。 たとえば購買先を選んで発注したり、顧客への返金を認めたり、本番環境の異常を修復したりと、影響の小さいところから徐々に、AIに意思決定そのものを委託する段階へと進んでいくはずです。少なくともそうした方向に強いインセンティブが働くのではないか、と思います。 では意思決定をしやすいよう、ルールでAIを縛れば良いかというと、後に見る OpenAI の Hugging Face 侵入事件のように、ルールでは不十分な状況が見えてきます。 ルールの”ハック”ができる主体 より分かりやすい例から考えてみます。 たとえば購買用のAIエージェントに、 「

[natsuvien]

無限ループするだけ