Google Pixelスマホ、ついにAIがアプリを操作 Gemini新機能が日本上陸

新機能は、Geminiモバイルアプリの「スクリーン オートメーション」を利用する。例えば「空港までの配車を予約して」「カートに牛乳と卵を追加して」と指示すると、Geminiが対応するAndroidアプリの画面を読み取り、必要な操作を進める。 操作には、端末内の仮想スマートフォン環境を使用する。Geminiがアプリを開いて画面上のボタンを押したり、商品をカートに追加したりするなど、通常は利用者が手作業で行う複数の操作を代行する仕組みだ。利用するには、アプリごとにスクリーン オートメーションの使用を許可する必要がある。 操作の進行状況を確認、途中停止も可能 Geminiは指示を受けると、必要に応じて追加情報を尋ね、実行プランを作成する。利用者がチャット画面を閉じてもバックグラウンドで処理を続け、進行状況はチャットや通知から確認できる。 処理はいつでも停止できるほか、Pixel 11シリーズでは