動画AIが豊作。アニメ絵2枚の間の“中割り”を生成し映像化するAI「ToonCrafter」、画像内キャラを滑らかに踊らせるAI「MusePose」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第49回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ アニメの“中割り”を生成してアニメーションに仕上げる「ToonCrafter」> 1枚の画像とモーションデータからダンス動画を生成するAIモデル「MusePose」 リアルタイムでストリーミング動画を変換するAIモデル「StreamV2V」 写真1枚から人物やキャラクターの話す動画を生成するモデル「V-Express」 人の手で塗った数枚の線画から、残りのアニメーションを自動彩色できるAIモデル アニメの“中割り”を生成してアニメーションに仕上げる「ToonCrafter」アニメーション

[kei_1010]

おおおー

[quwachy]

自動彩色はすぐにでも採用できそうだけど

[otihateten3510]

中割りはねー、若干は省力化されるだろうけど、余ったリソースは全てクオリティアップに使われるんだよねw

[punkgame]

天気予報の映像にも使えるかね。アレ動きが不自然すぎて気持ち悪くてな

[youhei_nak]

キーフレーム補完ではなく中割りができてるように見える！ 現場の人手不足に一躍買うのでは？ Adobe製品やクリップスタジオなんかに組み込まれると面白いことになりそう。

[fashi]

「1枚の画像とモーションデータからダンス動画を生成するAIモデル「MusePose」」「人の手で塗った数枚の線画から、残りのアニメーションを自動彩色できるAIモデル」OLM IMAGICA

[Seamless]

アニメ画像の1フレームと次のフレームを入力でそれらの間(中割り)を自動生成し繋げた動画を出力。