画像生成AI・Stable DiffusionをMulti ControlNetで制御して、実写映像を忠実にアニメ化 | 牧野真（まきのまこと）の公式サイト

I transform real person dancing to animation using stable diffusion and multiControlNet byu/neilwong2012 inStableDiffusion この技術が一般化すれば、暑苦しいモーションキャプチャー用のスーツを着なくて済みますね。 このムービーを公開したユーザーのneilwong2012さんによると、4つのControlNetを使って生成しており、パラメーターを調整しているとのこと。アニメは非常に滑らかですが、これは背景が固定されていることが大きく功を奏しているとneilwong2012さんは述べています。また、アニメ化に使ったという「animeLike25D」というモデルデータは、ノイズ除去強度が低くても実在の人物をキレイにアニメ化できるのが特徴だそうです。ただし、neilwong201