動画から手の動きを3Dデータ化、ハンドジェスチャーも認識 英ICLなどが開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 英インペリアル・カレッジ・ロンドン（ICL）、スイス・ルガーノ大学、英Ariel AI、米Twitterによる研究チームが開発した「Weakly-Supervised Mesh-Convolutional Hand Reconstruction in the Wild」は、動画から人の手の3次元モデルを予測する、深層学習を用いた手法だ。1台の単眼カメラで撮影したRGB映像から、手の動的3次元メッシュを生成する。

[Seamless]

寄稿：1台の単眼カメラで撮影した動画内の手を3Dモデルとして深層学習で推定、手の指先まで動的3次元メッシュを生成する。ARアプリのリアルタイムハンドジェスチャー入力も実証済。