【画像の次は3次元モデル生成】テキストから点群を生成するPoint-Eを試してみた - Qiita

はじめに あのChatGPTを開発したOpenAIが、今度はテキストから3次元モデルを生成するAIをオープンソース化して公開しました。 その名も「Point-E」。 普段点群×DeepLearningを研究している私(@comapi5)としては触らない理由がありません。 ということでGoogle Colabで動かしてみました！ Point-Eのざっくり概要 Point-Eは二つのモデルで構成されています。 「テキストから画像を生成するモデル」と「画像から点群を生成するモデル」です。 以下Point-Eの論文1の図を見るとわかりやすいでしょう。 "A corgi"をいうテキスト(画像生成モデルでいう呪文)を入力して画像を取得します。 取得画像を拡散モデルに入力して点群を得るといった流れになっていますね。 動かしてみた 前置きはこれくらいにしてとにかく動かしてみたい！ Point-Eのリポジト