単眼カメラの映像から人物の3Dモデル（衣服込み）をリアルタイム生成 深層学習で

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 南カリフォルニア大学、USC Institute for Creative Technologies、Pinscreenによる米研究チームが開発した「Monocular Real-Time Volumetric Performance Capture」は、衣服を着た動く人物の3次元モデルをリアルタイムに生成する深層学習ベースのフレームワークだ。 単眼のRGBカメラで一方向から撮影した映像から、見えない背面などを含む全身の演技をリアルタイムでキャプチャーする。隠れた部分のテクスチャも推定するため、質感を持った衣服を着た人間の、多様なポーズを生成できる。

[misshiki]

事例“「Monocular Real-Time Volumetric Performance Capture」は、衣服を着た動く人物の3次元モデルをリアルタイムに生成する深層学習ベースのフレームワーク”

[x100jp]

貧ぼっちゃまが謝らずに済むやさしい世界。

[Seamless]

単眼カメラで一方向から撮影する映像を入力に隠れた部分を含む動く人物の3D形状とテクスチャを衣服ごと即時生成する深層学習。異なる照明,多様な角度,ポーズ,服のスタイルでも安定精度を実現。