家具を撮影した1枚の画像から3D形状を復元する【前編】〜ShaRFの紹介とPix3Dでの実験〜 - spacelyのブログ

はじめに スペースリーでインターンをしている大隣嵩です。 1枚の画像から家具の3D形状復元を行う問題は、結果が1つに定まらない不良設定問題です。しかし、深層学習を用いて、カテゴリ特有の形状に関する事前知識を獲得し、精度向上を達成した手法がいくつか提案されています。 ShaRF[1]では、1枚のオブジェクトを撮影した画像からカテゴリ固有の3D形状復元を行う手法が提案されました。ShaRFの目標は、NeRF[2]を用いて、1枚の画像からの任意視点画像合成を高精度に行うことですが、そのために、中間表現として、オブジェクトの3D形状復元を行います。まずは、ShaRFを理解する上で必要となる任意視点画像合成とNeRFの説明をします。その後、ShaRFの概要と行った実験の紹介をします。 また、本記事ではShapeNet[3]を用いた実験を紹介しますが、再現実験のための研究用途での使用で、実際のアプリケ