OpenAI、AIによる自動でのGUI操作を可能にするエージェント「Operator」を発表

Operatorは、GPT-4oの視覚機能と強化学習による高度な推論機能を組み合わせたモデルである、Computer-Using Agent（CUA）によって実現されている。 CUAは、人間と同じく画面に表示されるボタン、メニュー、テキストフィールドといったGUIを操作するようにトレーニングされており、OSやWeb固有のAPIを使用することなく、デジタルタスクを柔軟に実行できる。 具体的には、ピクセルデータの処理によって画面上で何が起こっているかを把握し、仮想マウスとキーボードを使用してアクションを実行する。複数のステップで構成されるタスクをナビゲートして、エラー処理や予期しない変更にも対応可能なため、さまざまなデジタル環境で動作し、特殊なAPIなしでフォームへの入力やWebサイトのナビゲートといったタスクを実行できる。 ユーザーからの指示に応じて、以下のような認識、推論、アクションを反復