GitHub Copilotに「computer use」が登場、デスクトップアプリを操作

GitHubは10月1日（現地時間）、GitHub Copilot CLIおよびmacOS／Windows向けGitHub Copilotアプリで、デスクトップアプリケーションを操作する「computer use」のパブリックプレビュー提供を開始した。 Copilotは、アプリの内容や視覚的コンテキストの読み取り、コントロールのクリック、テキストの入力・編集、キー入力、スクロール、ドラッグ、アプリ間のワークフロー操作をユーザーに代わって実行する。API、CLI、MCP連携を持たないレガシーソフトウェアやGUIのみのソフトウェアのワークフローも自動化できる。 Copilotはアプリを操作する前に承認を求め、常に許可したアプリは確認・リセットできる。macOSではアクセシビリティと画面収録の権限設定を案内する。組織の管理設定で機能を無効化することも可能だ。 Copilot CLIでは「/com