AIによる楽器サウンド合成システム、Melisma(β)が爆誕。サンプリングでは不可能だったリアルさを実現｜DTMステーション

12月8日に、またDTMの世界に新たな扉が開かれました。これまでもSynthesizer VをはじめとするAIを使った歌声合成のソフトはありましたが、今回誕生したMelisma(メリスマ)は、ヴァイオリンやオーボエ、チェロ……といった楽器を合成するシステムのβテスト版。もちろん、こうした楽器を再現するソフトとしては、これまでサンプリングを使った音源が数多くあり、まさにリアルな音で演奏できていました。でもサンプリングだと、たとえばタイやスラーでつないだ長い音符などとなると、どうしても限界があったし、ピチカート、トリル、フォール…といったアーティキュレーションでも表現の範囲が限られていました。 このMelisma(β)では、実際の演奏をディープラーニングしたものを元に演奏音を合成する、いわゆる生成AIのシステムで、サンプリングでは不可能だったリアルな演奏サウンドを作り出すことができるのが最大の

[dambiyori]

途中「中迫さん」って名前が出てきてニコ動にリコーダー演奏の動画上げてた方?!って読み進めたら合ってた。オーボエのサンプルあったけどトランペットとか金管楽器がどんな感じなのかすごく興味ある

[natto21]

ストリングスはポルタメントに違和感があるなあ。ポルタメントは常に微量かかっているんじゃなくて、ソコだってときだけグっとかかるんですよ。MusicXMLでポルタメント指定できるはず。

[esper]

アーティキュレーションは完璧と言っていいんじゃないでしょうか。学習元の録音を良くしたら音色もすぐによくなりそう

[aceraceae]

人工的な感じはまだどうしようもないけどたしかにいい線いってるとは思う。オーボエ等のダブルリードは物理音源もかなり質はいいし逆に現状残念度が高い金管楽器がどこまで再現できてるかが気になるな。

[Nean]

今のところ慌てふためく必要はなさそうだけれど、遠からず……って感じなのかな。

[nekomask]

うーんまだ人工的に感じるな

[misshiki]

“Melisma(β)では、実際の演奏をディープラーニングしたものを元に演奏音を合成する、いわゆる生成AIのシステムで、サンプリングでは不可能だったリアルな演奏サウンドを作り出すことができるのが最大の特徴。”

[hetoheto]

だいぶ昔から素人にはサンプリングか生音か分からなくなってるけど、プロにはわかるのかな

[quick_past]

ちゃんと演奏の上で、こういう曲にするんだという意志がなければ、音に表情がつかない。AIで一番難しいのはそこだし、ただサンプリングしただけの音だと、ハンコ絵みたいな音になる。AI作画と同じ。

[kamezo]

ほえー。打ち込みに奪われなかった「生演奏感のある、生々しい演奏」もミュージシャンから奪われてしまうのかしらね……。ハコバンがなくなりBGM音源やカラオケ音源もなくなりデモ音源もなくなり……いやいや大変。

[l83DK]

中迫酒菜さんじゃん！この人の東方リコーダーアレンジめっちゃ聴いてた。

[havanap]

TONEXってアンプシミュレータの中にtensorflow入ってるんだけど最近人気

[agektmr]

お値段次第で10年後には誰もサンプリングなんて使わなくなってるくらい当たり前になってそう。

[tambo]

打ち込みで必要な色んなテクニックも必要なくなるし近い将来にスタジオミュージシャンもかなり失業しそうだね。アーティストは演奏のスキルよりもセンスで勝負することになりそう。

[electrolite]

おお、ストリングが入っている曲は打ち込みあきらめていたがこれでできる。嬉しい。お手数ですがブラスもお願い致します。

[washi-mizok]

E-muとかシンクラビアみたいなエポックがそろそろ

[muchonov]

鬼才だ／ポップスに足すストリングスアレンジなら全く問題ないレベル。低音域かなり良い。束ねてスラーするところとかに少し違和感あるけど、デクォンタイズすれば良さげ。AI+DAWの進歩すごそう

[debabocho]

演奏家単位でデータセット作れば権利関係も明確になるかな。夢の奏者アンサンブルや、スター・トレックみたいに〇〇と〇〇の技法を合成した演奏なんてのができると面白い。

[srng]

サンプリング音源とモデリング音源の中間みたいな感じ？

[atsushieno]

Kontakt音源みたいにリアルタイム処理できるようになるまで何年かかるかな

[spark7]

ソロで聴くと良さそうにも思えるけどアンサンブルはなんかショボく聞こえるのはなぜだろう。『KONTAKTなどのサンプリング音源で作っている方であれば、すぐに』かね… 表情が重要な演奏は結局弾いた方が早いのよね。

[puhu208n]

いまいち良さが分からん。データセット収録用マイクの問題か、一貫性に欠けるのか、出力ビットレートが低いのか、何か生成由来のノイズが乗ってるのか…

[ak1024]

"MusicXMLでは途中で楽器を持ち替えることが可能です。普通は区切りを経て持ち替えるわけですが、ロングトーンの途中で持ち替えることができるため、モーフィングさせることができます。"

[mohno]

楽曲データを演奏して集めたのか。リアル楽器をマネしても本物以上にはなれない、という話は聞いたけど、代替できるようになるのかどうか。

[poohmobil]

“このMelismaでは何回やっても絶対に違う結果が出てくるのも特徴です。”

[kjin]

今後は演奏者の演奏を学習させたAIの出力の評価も演奏者に加わるのかな？まあドラム、ベース等の「このグルーヴが…」とかは昔からサンプリング界隈であるし、その類いだろうけど“友人のヴァイオリン奏者にお願いし

[yarumato]

“サンプリング音源で、ヴァイオリンやオーボエ、チェロといったサウンドを作ると、たとえば8秒のロングトーンで途中からループに入ってリアルではなくなる。”

[kei_1010]

すげーな

[aobon700]

まぁこうなるよな。今はUI部分でやりづらさもあるけど、いずれは解消されて…サンプリング音源系は廃れてしまうのかな