「音楽AIで生成した日本語曲を動画AIに歌ってもらう」のが、思ったよりも自然にできて感動したので、記事にしてみました。 Sunoで生成した曲AI音楽生成サービスのSunoでつくった曲を使いました。バージョンはv4.0、プロンプトは「mellow cute chip tune, female husky vocals」です。 同じ歌詞で生成した以下の4曲のうち、2番目の曲をえらびました。 この曲とAI動画生成を組み合わせて「歌ってみた」ができないかな、と思っていろいろ試した結果、FLOATという生成AIに行きつきました。 FLOATとは人物画像と発話音声をもとにリップシンク動画を生成する「AIポートレート・アニメーション」系の技術です(いわゆるAIアバターの一種)。 この系統の生成AIは数多く公開されていて、古くはSadTalker、最近ではAniPortrait、Hallo、Sonic、F