はてなブックマーク

Googleラボが、MusicLMなるものを発表しました。文章で指示した通りの音楽を生成してくれるAIです。 リンク先の音楽を聴いてみると、たしかに指示通りの音楽が、十分自然な品質で生成出来ているように聞こえます。凄いですね。 DALL.E 2やStable Diffusionなどの画像生成技術が世間を騒がせていた頃から繰り返し言われてきた、「そのうち音楽生成も来る」みたいな観測がようやく現実になったと言えるでしょう。 当然ながら、新しい技術は水を与えて待てば生えてくるわけではなく、実際は手と頭を動かし、あらゆる課題をねじ伏せなければ実現されません。未来予想トークで風呂敷を広げまくるよりも、リアルな課題解決の過程をじっくり研究したほうが楽しいと思います。 MusicLMは、Googleラボが去年発表した研究成果AudioLMとMuLanをベースにしており、AudioLMはさらにSoundS

QMULのBen Hayes氏らが、勾配降下法で周波数推定を行う手法を論文で発表しました。ICASSP2023に投稿したそうです。 きわめてシンプルな手法なのですが、機械学習系音声合成にとってはたいへん重要な成果だと思うので、紹介します。 論文リンク：Sinusoidal Frequency Estimation by Gradient Descent ソースコード：https://github.com/ben-hayes/sinusoidal-gradient-descent 背景：DDSPの限界 DDSP(Differentiable Digital Signal Processing)とは、微分可能な計算式を持つDSPモジュールをDNNに組み込んで機械学習をやる手法で、Google Magentaプロジェクトが最初に打ち出したアイデアです。 今ではもうDDSPシリーズと呼べるほど多様

しばらく前にオンライン開催された「OngaACCELシンポジウム2020」にて、吉井和佳先生による自動採譜技術研究の発表がありました。たいへんありがたいことに、あの藤本健さんの記事でピックアップしていただき、なかなか反響があったようです。 音を楽譜にする“耳コピ”はここまで来た。AI自動採譜の最前線 この記事で紹介されている成果のうち、しゃをみんはコード採譜の研究に取り組んでおります。吉井先生の発表の中で、「ミラーニューロン仮説」なる概念が紹介されたあのパートです。 「生成モデル＋推論モデル＝VAE」でなんかぐるぐるさせるという話をしていましたね。本記事ではこの研究成果をざっくり解説するとともに、「AI自動採譜」研究の現在地を自分なりに整理してみたいと思います。 研究内容はIEEE TASLPに掲載されています。引用してください。 Semi-supervised Neural Chord

Chainer Advent Calendar 2017 2日目です。 まえがき 画像認識や音声認識で深層ニューラルネットワークの威力が目立ち始めた頃、何故か(結構親和性が高そうな)音楽情報処理(MIR)の分野ではそっち方面での動きは鈍く、応用してみた論文も言うほど目覚ましい成果は無かった印象でした。そんなMIR界もようやくDeepLearningブームが来ているようで、Deepな論文がどっかんどっかん投稿され、ビッグなデータセットが公開され、MIREX(音楽情報処理アルゴリズムのコンテスト的なやつ)でも勝ちはじめ、ISMIR(音楽情報処理の国際学会)の冒頭演説でネタにされる位には流行るようになりました。 というわけで今年のISMIRの深層学習関連発表から比較的わかりやすそうなものを選んで、Advent Calendarのネタにさせて頂くことにしました。本稿では音楽の歌声分離タスクをやって

Chainer Advent Calendarの11日目です。 #コード進行認識とは 我々は音楽を作るとき、ピッチ（音高）が異なる音を重ねることでより豊かな響きを得ることができます。これをコード(Chord)と言います。時間が進むにつれてコードを変化（発展）させてゆくことで音楽の骨幹が出来上がっていきます。これがコード進行。 音楽を耳コピする際コード進行は最も重要な要素と言ってもいいでしょう。コード進行が分かればギターや鍵盤とかで伴奏をだいたい再現出来ちゃいます。 さて、要するに本文はコンピューターに自動耳コピさせようという話です。実際耳コピをするときなどは「この小節はAmが鳴っていて、次がCで…」というざっくりした感じで判断していきます。音符の羅列とかリズムとか細かいことは考えないですね。コードは構成音で明確に定義できるのですが、実際の音楽信号は周波数域に分解してみるとピッチが不明瞭だっ