米Google、自然言語でAndroidデバイスを操作するための学習データセット公開

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米Google Researchと米Google DeepMindに所属する研究者らが発表した論文「Android in the Wild: A Large-Scale Dataset for Android Device Control」は、Androidデバイスを自然言語で操作するための大規模な学習データセットを提案した研究報告である。このデータセットには、画面やアクションを含むデバイスのインタラクションの人間によるデモンストレーションと、それに対応する自然言語の指示が含まれている。データセットはこちらから入手できる。 自然言語コマンド

[misshiki]

“Androidデバイスを自然言語で操作するための大規模な学習データセットを提案した研究報告”

[otihateten3510]

うーん、Siriの延長線かな

[minamishinji]

メチャクチャ興味深い。

[fnskun]

“高レベルのゴール指示を収集するために、人間（クラウドソーシングの評価者と著者の両方）、LLMが生成したプロンプト、（PixelHelpのような）技術文書という複数の情報源を使用した。”

[Seamless]

公開中のデータセットは350以上のAndroidアプリとWebサイトにわたる約71万のエピソード(画面操作と言語指示のペア)から構成される。