Apple、AIにアプリを試させてUI/UXをテスト【AI×デザイン】（論文解説） | AIDB

幅広いユーザにアプリを使ってもらうには Appleでは機械学習を用いて、便利な製品を世の中に提供しています。例えば、視覚障害を持つ人や視力の低い人、音が聞こえない人や聞き取りにくい人、身体運動の制限がある人などの障害を持つ人に、アクセシビリティ機能を用いて幅広いユーザをサポートしています。 アクセシビリティ機能とは、ユーザインターフェイス(UI)を説明する機能のことですが、多くのアプリにはその補助機能が備わっていません。これによって、読み上げ機能がうまく機能しなかったりする可能性があります。そのため、様々なアプリに用いることが可能なアクセシビリティ機能を実装する必要があります。

[honma200]

これはUIからどんな情報が書かれているか推測するもの？VoiceOverなどに使われるのかな？

[misshiki]

“ ミッション：様々なアプリに対してアクセシビリティ機能を実装したい。解決手法：CNNベースの物体検知モデルを用いてモデルを構築した。結果：UI検知が可能になり、モデルの最終的なmAPが87.5%になった。”

[twenty_century_girl]

うわ、さすがアップル