キャラクター画像をアニメに 中国アリババなど「Animate Anyone」開発 ボーンの動きを反映

モデルは、Stable Diffusion（SD）のネットワーク設計と事前訓練された重みを継承し、Denoising UNetを複数フレームの入力に対応できるように変更している。 この方法には3つの重要なコンポーネントが組み込まれている。参照画像からキャラクターの外観的特徴をエンコードする「ReferenceNet」。骨格動画からキャラクターの動きを制御するためのモーションデータをエンコードする「Pose Guider」。キャラクターの動きの連続性を確保するための時間的関係を補う「Temporal layer」。 ReferenceNetで抽出した特徴は、Spatial-Attentionを用いてDenoising UNetに統合される。これにより、Denoising UNetはReferenceNetと同じ特徴空間にある関連する特徴を選択的に学習できる。また、CLIP画像エンコーダーを使

[quwachy]

連続性を担保しただけだから早すぎるとは思わないけど、アニメやゲームに使えるレベルになってからが本番だし

[verda]

ポーズとって撮るより 後から操作しやすいポーズで写真を撮る時代がきそうだ

[fumikef]

写真ならモデルさんにもう１ポーズ決めて欲しかったけど時間が無くてって時とか、アニメなら公式では取らないポーズを取らせてみたりとかが後からできるんだね。軸を予想してポーズを取るから不自然さも少ないと…。

[dh16t]

Animate Anyone、MagicAnimate、VideoSwap、StreamDiffusion… 進歩が早すぎる。

[IGA-OS]

次世代の静止画からアニメーションを作る技術となるのかも