キャラをポーズ取らせる方向の記事は他の方に任せて、自分の得意な背景描きの方向で研究しました。 今回の目標は、AI風景画の3D化。 画像からMidasとかで作ったデプスマップはぐにゃぐにゃでとてもポリゴンモデルにできたものではありませんが、ControlNetのDepthならポリゴンから画像を、確実に狙った形にできるのがわかったので、それを利用して背景を3Dポリゴンに焼き込めないかという目論見です。 Blenderでモデリングできて、UVまで作れる人向けの記事です。 BlenderにはすでにDreamTextureというアドオンがありますが 現時点ではまだcontrolnetに対応しておらず、SD1.5しかデプスマップを利用できません。またプロジェクション機能はマテリアルとUVをまるごと書き換えてしまうのも使い勝手が悪いという感想でした。 Blenderでデプスマップを書き出す方法コンポジタ