人物と服の質感を忠実に3D化 Facebookなど「TexMesh」開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米カーネギーメロン大学と米FacebookのReality Labsによる研究チームが開発した「TexMesh」（PDFへのリンク）は、実世界の映像から人間の詳細な3Dメッシュデータを再構成する深層学習ベースのフレームワークだ。生成した人物モデルは、どの視点から見てもそれらしく再現されている。 実際に撮影した画像からジオメトリ（形状）とテクスチャをそれぞれ再構築する方法はこれまでも研究されてきたが、細部がぼやけたりして品質としては不十分だった。 今回の手法では、この課題を解決するため、生成した人物データ上で事前学習を行い、実映像に適応させる自己学習フレームワークを採用する。RGB映像とそれ

[minamishinji]

興味深い

[Seamless]

寄稿：映像から人の全身を精密に3D化する深層学習システム。どの視点から見てもリアルに再現。照明の変化にも対応。服のロゴや文字も鮮明。服のシワもテクスチャではなくジオメトリとして正しく再現。