拡散生成モデルはVTuberを作るか？ - irisuinwl’s diaryこんにちは、いりすです。 StableDiffusionで作った一枚絵をブラウザ上で顔認識して動かすVTuberアプリのプロトタイピングをしたので、解説をします。 成果物: 良い感じにスピードアップしてVTuber感出てきた pic.twitter.com/gGwhjSzk2F— いりす (@irisuinwl) 2022年9月18日 概要 やったことは以下です。 StableDiffusionで良い感じのキャラを作る pkhungurnさんのtalking-head-anime-3を使って、blednshapeを入力にキャラクターの顔を動かすAPIを作成する mocap4faceで顔認識 -> blendshapeにして先述のAPIに食わせて結果を表示させる 今回利用したrepo github.com github.com 改変したコード frontend: github.com Run
