無音のピアノ演奏ビデオから音楽を生成する「目コピ」AIピアニスト--手の動きを解析

ワシントン大学の研究チームは、演奏するピアニストの手の動きを解析し、そのピアノで演奏されているであろう音楽を自動生成するシステム「Audeo」を開発した。 Audeoは、ピアノの鍵盤を上から撮影した無音のビデオが与えられると、そのピアノを演奏する人の手の動きを捉え、どの鍵盤がどんなタイミングで押されているかを映像から解析する機械学習アルゴリズム。つまり、音の情報を与えられることなく、手の動きだけで演奏されている音楽を再現できるという。 再現処理は、ビデオから押された鍵盤を解析し、解析済みデータをシンセサイザーに読み込ませて実行する。シンセサイザーで合成する音は、ピアノ以外の楽器の音にも変えられる。たとえば、ピアニストの演奏ビデオから、ギターや琴、トランペット、バイオリンなどで演奏したような音楽も生成可能だ。

[ONOYUGO]

“Audeoは、ピアノの鍵盤を上から撮影した無音のビデオが与えられると、そのピアノを演奏する人の手の動きを捉え、どの鍵盤がどんなタイミングで押されているかを映像から解析する機械学習アルゴリズム。”