テキストから「3D画像」生成、Googleなどが開発したAI「DreamFusion」の仕組みとは

Google Researchとカリフォルニア大学バークレー校からなる研究チームは、入力されたテキストから3次元（3D）オブジェクトを生成するAI「DreamFusion」を開発した。2次元（2D）拡散モデルを用いる。2022年9月29日（米国時間）、このAIに関する論文をオープンアクセスリポジトリ「arXiv」に提出した。論文は同日から公開されている。 テキストから2D画像を生成するAIの最近のブレークスルーは、何十億もの画像とテキストのペアでトレーニングされた拡散モデル（diffusion model）によってもたらされた。拡散モデルは、純粋なノイズから少しずつノイズを除去していき、最終的に何らかの画像を得るという考え方に基づいている。 このアプローチを3D画像の生成に適用するには、ラベル付けされた3D資産の大規模データセットと、3Dデータの効率的なノイズ除去アーキテクチャが必要だが、

[misshiki]

“テキストから画像を生成するトレーニング済みの2D拡散モデルを用いて、テキストから3D画像を生成するアプローチを採用し、DreamFusionを開発した。”