複数写真から自由視点画像を生成 Googleなど「NeRF」開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米カリフォルニア大学バークレー校、米Googleの研究部門であるGoogle Research、米カリフォルニア大学サンディエゴ校による研究チームが開発した「NeRF」は、さまざまな角度から撮影した写真を機械学習を用いて処理し、自由な視点から見られる画像を生成する技術だ。 この技術を用いて出力した画像は、見る視点を変えても、その視点に合わせた新しい画像が連続的に生成されるため、立体感を保ったまま閲覧できる。 この画像を生成するために、MLP（Multilayer perceptron）ニューラルネットワークで学習する。特徴的なのが、機械学習で画像生成を行う際に一般的に用いられるCNN（Co

[Seamless]

寄稿:撮影した複数視点の3次元座標と見る角度を入力に物体の密度（物体が存在する指標）と色をCNNを使わず推定、自由視点画像を合成する.物体の光の反射も見る視点で連続再現。高品質な鏡面反射光とオクルージョン効果