Claude Code のデスクトップ操作、内蔵の computer-use ではなく Windows-MCP を使っている理由

Claude Code にデスクトップ操作を任せる手段には、内蔵の computer-use があります。画面を撮ってピクセル座標でクリックするこの方式のまま任せ続けてよいのか気になって代わりを探し、UI Automation で画面を構造として読む Windows-MCP に入れ替えました。メモ帳への入力という同じタスクを両方に実行させて、操作の中身がどこで変わるのかを確かめてみました。 TL;DR computer-use は操作のたびに「画面を撮る → 位置を推定する → 座標をクリックする」を繰り返します。Windows-MCP は UI Automation の要素ツリーを最初に1回読み、要素を名前と座標で直接指定します メモ帳にテキストを入力する同じタスクで、起動を除いた操作数は computer-use が5、Windows-MCP が2 でした。減ったのは位置を知るための往

[civicpg]

computer-use の内部の仕組みの話かと思った。 （私が）Claude Code のデスクトップ操作（に）、内蔵の computer-use ではなく Windows-MCP を使っている理由

[ookitasaburou]

“画面を「画像」ではなく「構造」として読み取れる点にあります。”

[misshiki]

Claude CodeのGUI操作をcomputer-useからWindows-MCPへ。UI Automationで要素を名前指定でき、メモ帳入力は5操作→2操作に。WindowsネイティブはMCP、ブラウザはPlaywrightと使い分け。

[daruyanagi]

へー、よさそうだのぅ ( ˘ω˘ )