歌声から伴奏を生成するAI「SingSong」 Googleが技術開発

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 Google Researchに所属する研究者らが発表した論文「SingSong: Generating musical accompaniments from singing」は、歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告である。入力した歌声に合わせてインストゥルメンタル音楽（インスト）を生成し、す入力の歌声と生成した楽器を合成した新たな音源を出力る。 SingSongは、音源分離とオーディオ生成の2つのモデルから構成される。まず既存の音源分離アルゴリズムを用い、大規模で多様な音楽コーパスをボーカルと楽器の音源のペアに分離し

[death_yasude]

どうして

[deejayroka]

"学習したモデルは、ボーカルの音声を受け取ると、そのボーカルに合うインストゥルメンタル曲を出力し、入力音声と生成したインストゥルメンタル曲をミックスした音楽を出力する"

[atsushieno]

MusicLMとは違って歌唱がすでにあるわけだからAudioLMの応用でそれっぽいものを作るアプローチになるんだな（論文でもMusicLMは言及されてた）

[misshiki]

“歌声からその歌に適した伴奏を生成する機械学習モデルを提案した研究報告”

[kinushu]

具体的な正解が無いから用途としては面白そう。コード進行もバリエーションでてくるだろうし

[Seamless]

入力したボーカルの音声に合ったインストを生成し入力の歌声と生成した楽器を統合する。プロジェクトページでサンプル音源聞けます。