画像生成AIで漫画っぽい物語が作れるモデル「StoryDALL-E」

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米UNC Chapel Hillの研究チームが開発した「StoryDALL-E: Adapting Pretrained Text-to-Image Transformers for Story Continuation」は、テキストから画像を生成するText-to-Imageモデルで漫画風の物語（ビジュアルストーリー）を構築できるシステムだ。登場人物のせりふは生成されないが、一貫して登場人物や背景の整合性がとれた一連の画像を生成する。 自然言語で書かれたテキストに応じて高品質な画像を生成するText-to-Imageモデルが多くの人に利用されており、生成した画像を活用する創作活動も多方面

[mizukemuri]

正直進化が早すぎて全然追えてない

[misshiki]

事例“テキストから画像を生成するText-to-Imageモデルで漫画風の物語（ビジュアルストーリー）を構築できるシステムだ。登場人物のせりふは生成されないが、一貫して登場人物や背景の整合性がとれた一連の画像を生成”

[kei_1010]

試せるようにして欲しいけど、数百万円超えのモンスターマシンが必要なのかな。

[Seamless]

テキストから画像を生成できるモデルを改良。背景と登場人物をある程度固定したセリフなし漫画（ビジュアルストーリー）画像群を文章から自動生成できるモデル。連続した画像は背景と人が一貫して出力される。