DreamFusion: Text-to-3D using 2D Diffusion

Abstract Recent breakthroughs in text-to-image synthesis have been driven by diffusion models trained on billions of image-text pairs. Adapting this approach to 3D synthesis would require large-scale datasets of labeled 3D assets and efficient architectures for denoising 3D data, neither of which currently exist. In this work, we circumvent these limitations by using a pretrained 2D text-to-image

[shinokiwa]

3DモデルのAI生成、AIで漫画を描くとかキャラクターを固定する必要がある場合、こっちの技術のほうがベクトル的には良いと思うのよな。

[Cru]

生成画像中の物体のアルベド推定値と明るさから法線方向を推定して3Dに起こし、向きを変えて再描画、ガウスノイズを加えて拡散モデルで元画像を復元、復元モデルの3D値を元データにバックプロパゲーションで反映して

[kei_1010]

ふぉー！ついに、というか、もう、というか、3Dキタコレ！！しかし、コードはどこだ？俺のマシンで動かせるのか？

[spark7]

歪みが少なくなりそうで良いな

[KoshianX]

おおおお? 人工知能生成による3Dモデル来たねえ。そこまでやるって言われてたけどまさかもう来るとは……

[LuneC]

長谷川先生ルポお願いします

[stealthinu]

diffusionで3Dモデルを生成。出てくるだろうとは思ってたけどこんだけの精度のがこのタイミングで出てくるとは。

[tomoP]

輪郭がふわふわボヤケた物が多いけどもしや点群？

[n2sz]

動物のサンプル多いけど人間はあんまり得意じゃないのかな。Stable Diffusionのとこも3Dやる予定みたいだし、こっちの分野も充実してくるといいな。

[mayumayu_nimolove]

似たようなものばかできるのが気になる。特化型なやつかな。

[kurojz]

“DreamFusion: Text-to-3D using 2D Diffusion”