雑に描いたパラパラ漫画をリアルな動画に変えるAI 米カーネギーメロン大が技術開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 米カーネギーメロン大学に所属する研究者らが発表した論文「Sketching the Future（STF）: Applying Conditional Control Techniques to Text-to-Video Models」は、パラパラ漫画のような連続する絵とテキストプロンプトを入力に、リアルな動画を生成する学習モデルを提案した研究報告である。 例えば、テキストプロンプトに「夕焼けに浮かぶ熱気球」を入れ、手書きで簡易的に描いた気球の絵を3枚を入力に使用する。その際、気球の絵は左から右へ移動するように描く。すると、夕焼けの空を左から右に移動

[samasan-tabasan]

よかった。これで低賃金で長時間ブラック労働させられるアニメーターは居なくなるねw

[homarara]

絵コンテを完成品にしてくれるAIも出てくるかな。

[mayumayu_nimolove]

大手メディアはアニgif貼れないの？

[fnskun]

“この研究では、ゼロショットのText-to-Video生成の利点とControlNetが提供する堅牢な条件制御技術を組み合わせた新しいアプローチ「Sketching the Future」（STF）を提案する。”

[Seamless]

テキストプロンプト「夕焼けに浮かぶ熱気球」と、3つの位置に手で書いた気球の絵を入力。左から右へ移動するリアル動画が生成される。途中のフレームは自動で補完。

[deep_one]

アニメ用語では「原画を入れると中割原画、動画が作成されて完パケが出てくる」と言う感じ。中割の速度感でリテイク出そう（笑）