YouTubeなど動画内の人を3Dモデルで抜き取る技術 米ワシントン大とGoogle Researchが「HumanNeRF」開発【研究紹介】昨今、NeRF（Neural Radiance Field）に代表される、深層学習を用いて2次元画像から自由視点の3次元画像を生成する技術が注目されている。画像からそこに写る物体を抜き出し、その物体を360度どの方向から見ても正確に表現できる技術だ。 しかしこれら手法は、異なる視点から撮影された対象物の静止画像を複数枚用意し入力に使用しなければならない。そのため、1方向からのみで物体を自由視点で高品質に抜き出すのは非常に難しい。また今回は人間を対象とするため、 衣服のひだや髪の毛、体のポーズ、顔の表情などの細かいディテールを合成時に考慮しなければならない。 HumanNeRFと呼ばれる今回の手法は、単眼カメラで撮影した1視点の映像を入力に、任意のフレームで一時停止したシーンに映る人物を自由視点の3Dモデルとして抜き出す。止まっている置物などの物体ではなく、ダンサーなどのダイナミックに動作す
