混ざった楽器の音を演奏者の動きで分離 米MITなど研究

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米マサチューセッツ工科大学（MIT）とMIT-IBM Watson AI Labの研究チームが開発した「Music Gesture for Visual Sound Separation」は、楽器を演奏する複数人の動きを深層学習で分析し、個々の楽器の音を分離する手法だ。ピアノ、フルート、トランペットなどの楽器を複数人で同時演奏した場合に、その映像から演奏者それぞれのメロディーを抜き出す。 映像解析ネットワークと視覚音声分離ネットワークの2つからなる「自己教師あり学習」を採用。映像解析ネットワークでは、人体のキーポイント18点、手のキーポイント21点を抽出。次に身体の動きと前後関係を統合し、

[hatebutabooboo]

はぁーどんどん凄くなる。いずれ体の微妙な変化から誰がオナラをしたか分かるようになるな。

[whkr]

エアギターで混乱させたい。

[uunfo]

なるほど人がやってることだ。音声認識も口の動きを使えばさらに正確になりそう。

[deep_one]

このタイミングで音が変わったのはこの楽器だ、みたいな感じか？

[mopx]

最後に謎の叫び声が残るっていうオカルトが来るな。

[spark7]

音の分離は前からあったけど動きと紐づけるのはすごいな

[take-it]

これ、もっと進化すると、ルイ・アームストロングやカート・コバーンの演奏を、別の曲でも再現できるようになるのでは。個人のプレイヤーでも、その人っぽいニュアンスの演奏ができるようになりそう。

[tourism55]

オナラはいまでもサーモグラフィーで撮るだけで……

[kaakaa_hoe]

弾いてみた的な動画で目コピとかするもんな

[cartman0]

細かい動きのスケルトンも取れるんか？昔はkinect使ってたが

[miyauchi_it]

コンサート見に行った時に人間がやってることを機械化した感じか。なんでもやろうと思えば出来るな。未来感あって良い。

[misshiki]

“「Music Gesture for Visual Sound Separation」は、楽器を演奏する複数人の動きを深層学習で分析し、個々の楽器の音を分離する手法”

[aceraceae]

音源分離にその発想はなかった。演奏者がちゃんと映ってることが前提だな。

[knok]

前にもあった気がしたけど、音のなっている箇所じゃなく人体のキーポイントを見るのが違うっぽいな

[y_maki]

こういう分野が違う研究者がコラボして作った感じ好き

[satmat]

オケの弦楽器とかも可能なんだろうか

[bean_hero]

これを突破できる腹話術師が現れる予感

[wdnsdy]

これを逆にすると楽器の音から演奏してるっぽい動きを作れるようになるのかな

[yom-amota]

演者の動きと発音の紐づけもすごいとは思うけど、音声分離の処理技術の方がすごい気がするのだが、

[Seamless]

寄稿：複数人が同時演奏する映像から各演奏者の動き（上半身や指のキーポイント）を取得し深層学習で分析、各楽器のメロディーを抜き出す。ピアノやギター等は指の動き、チェロやバイオリン等は肘の動きを重視。