家具を撮影した1枚の画像から3D形状を復元する【後編】〜ShaRFの実データへの適用と複数枚画像への拡張〜 - Spacely Tech Blog

はじめに スペースリーでインターンをしている大隣嵩です。 前回は、家具を撮影した1枚の画像から3D形状復元するタスクに取り組んだShaRF[1]の説明と、既存データセットを用いた実験を紹介しました。 この記事では、ShaRFを実データに適用した実験と、推論時に複数枚の画像を使用した実験を紹介します。 実データを用いた実験 実データに対してShaRFを実行するためには、3D復元対象オブジェクト部分の画像の切り出し、カメラ位置や家具のバウンディングボックスのアノテーション、シルエット画像の作成など事前にいくつかのデータを作成する必要があります。 まずこれらの事前のデータ作成について簡単に紹介した後に、実験結果を示します。今回は、左右前後が対称で3D復元の難易度が比較的低いテーブルを主な対象として実験を行いました。 パノラマ画像からの透視図画像の切り出し スペースリーのサービスでは主にパノラマ画