音楽からダンスを自動生成、J-POPも踊れる「Dance Revolution」 Microsoftなど開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米Microsoftと中国・復旦大学による研究チームが開発した「Dance Revolution」は、深層学習を用いて音楽からダンスの動きを生成する手法だ。与えられた音楽を基に1分程度のダンスシーケンスを生み出す。コナミのゲーム「Dance Dance Revolution」とは無関係。 これまでの類似研究では、ネット検索を使って音楽からダンスを合成する手法や、分析によって得られた音楽と動きの相関を適用し新しいダンスを生成する機械学習ベースの手法などが実装されてきた。 Dance Revolutionでは、既存研究を踏まえて、音楽とダンスの対応関係をより詳細に捉えた深層学習ベースの合成法を

[BOSEIsan]

おもしろそう

[Seamless]

寄稿：深層学習で入力音楽に合うダンスの動きを生成、全身骨格ダンスシーケンスを出力する技術。YouTube155本のソロダンスからデータセット化。人物画像に転移し躍らせた様子も動画で見れる。バレエ、Hip Hopも。