【動画生成】Sunoで作ったオリジナル曲をComfyUI-FLOATで歌ってもらうゾ！｜Baku

「音楽AIで生成した日本語曲を動画AIに歌ってもらう」のが、思ったよりも自然にできて感動したので、記事にしてみました。 Sunoで生成した曲AI音楽生成サービスのSunoでつくった曲を使いました。バージョンはv4.0、プロンプトは「mellow cute chip tune, female husky vocals」です。 同じ歌詞で生成した以下の4曲のうち、2番目の曲をえらびました。 この曲とAI動画生成を組み合わせて「歌ってみた」ができないかな、と思っていろいろ試した結果、FLOATという生成AIに行きつきました。 FLOATとは人物画像と発話音声をもとにリップシンク動画を生成する「AIポートレート・アニメーション」系の技術です（いわゆるAIアバターの一種）。 この系統の生成AIは数多く公開されていて、古くはSadTalker、最近ではAniPortrait、Hallo、Sonic、F

[hammondb3]

星街すいせいが新しいと話題になったのってつい最近だと思うけど、星街すいせいが古く感じる日も近いのかも。技術革新は速いね。

[tomama_tomato193]

科学の進歩がすごすぎる

[yarumato]

“FLOATとは人物画像と発話音声をもとにリップシンク動画を生成。ただし出力動画が512x512サイズ限定なのが残念。モデルが商用利用不可（CC BY-NC 4.0）なのも注意が必要”