Appleの研究チームが、デバイス上で動作しアプリの画面を自律的に操作するAIエージェント「Ferret-UI Lite」を開発したと、9to5Macが伝えました。 Ferret-UI Liteは、Appleが2023年12月以降に段階的に発表してきた「Ferret」シリーズの流れをくむ最新の研究モデル。初代Ferretは、画像内の特定領域を自然言語で参照し、その場所を特定する能力を狙ったマルチモーダル大規模言語モデル(MLLM)として紹介されています。 なおFerret-UIはモバイルUI理解に特化し、縦長画面や小さなUI要素を扱うために「any resolution」を取り入れて細部を見やすくしています。Ferret-UI 2はiPhone/Android/iPad/Webpage/AppleTVなど複数プラットフォーム対応や、高解像度の認識強化(adaptive scaling)など

