背景 メタバースやAR等の進展で人体の3Dモデル化は需要大 (Vtuber等のアバター,ゲームモーション作成、映像コンテンツの作成等) 今回は画像や動画からどうやって人体を3D化するかという技術を紹介したいと思います。 3Dモデルの表現方法 画像から3Dモデルを作成する上で重要なのは3Dをどのような形で表現をすればよりNNの学習に適しているかということです。 3DモデルをPoint Cloudのような点群として表現するのか、メッシュとして表現するのかなど同じ3Dにしても多数の表現方法があります。用途やNNの学習に適した表現形式 が多数提案されており、今回はSMPLとNeRFという2つの表現方法に関してご紹介いたします。 押さえておきたい要素技術1: SMPLモデル SMPLとは? パラメータ化された人体の3Dモデル SMPL: A Skinned Multi-Person Linear M