GPT-4VとUnreal Engineの融合：マルチモーダルAIによる仮想空間でのアプリ検証とメタバースの新たな可能性 - JBS Tech Blog先日、OpenAIのAPIでGPT-4Vが使用できるようになりました。 https://platform.openai.com/docs/guides/vision 画像認識機能を使用して作成できそうなアプリについてChatGPTに相談してみたところ、下記のような回答が得られました。 どれも一度は使ってみたいと思えるようなアプリだったので、実際に実現することは可能なのか検証してみました。 この記事では、OpenAIの最新モデルであるGPT-4Vを活用し、Unreal Engineで作成した3D環境の画像がGPT-4Vによってどのように解析されるのかを探ります。具体的には、3D空間のスクリーンショットを取得し、それをGPT-4Vに読み取らせることで、AIがどの程度の視覚データを処理し、何を抽出できるのかを評価することに焦点を当てています。 GPT-4Vとは Unreal Engine 5.2
