MusicLM
MusicLM: Generating Music From Text |paper|dataset| Andrea Agostinelli, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, Aren Jansen, Adam Roberts, Marco Tagliasacchi, Matt Sharifi, Neil Zeghidour, Christian Frank Google Research Abstract We introduce MusicLM, a model generating high-fidelity music from text descriptions such as "a calming violin melody bac
【注目論文】Sinusoidal Frequency Estimation by Gradient Descent - Qiita
QMULのBen Hayes氏らが、勾配降下法で周波数推定を行う手法を論文で発表しました。ICASSP2023に投稿したそうです。 きわめてシンプルな手法なのですが、機械学習系音声合成にとってはたいへん重要な成果だと思うので、紹介します。 論文リンク：Sinusoidal Frequency Estimation by Gradient Descent ソースコード：https://github.com/ben-hayes/sinusoidal-gradient-descent 背景：DDSPの限界 DDSP(Differentiable Digital Signal Processing)とは、微分可能な計算式を持つDSPモジュールをDNNに組み込んで機械学習をやる手法で、Google Magentaプロジェクトが最初に打ち出したアイデアです。 今ではもうDDSPシリーズと呼べるほど多様
Magenta
An open source research project exploring the role of machine learning as a tool in the creative process. Magenta Studio has been upgraded to more seamlessly integrate with Ableton Live. It is a collection of music creativity tools built on Magenta’s open source models, using cutting-edge machine learning techniques for music generation. Read the blog post.
Deep Learning Techniques for Music Generation -- A Survey
This paper is a survey and an analysis of different ways of using deep learning (deep artificial neural networks) to generate musical content. We propose a methodology based on five dimensions for our analysis: Objective - What musical content is to be generated? Examples are: melody, polyphony, accompaniment or counterpoint. - For what destination and for what use? To be performed by a human(s) (
Neural Nets for Generating Music
Algorithmic music composition has developed a lot in the last few years, but the idea has a long history. In some sense, the first automatic music came from nature: Chinese windchimes, ancient Greek wind-powered Aeolian harps, or the Japanese water instrument suikinkutsu. But in the 1700s automatic music became “algorithmic”: Musikalisches Würfelspiel, a game that generates short piano composition
機械学習を用いたシンセサイザーが持つ可能性 – Making a Neural Synthesizer Instrument –
TOP DEMO 機械学習を用いたシンセサイザーが持つ可能性 – Making a Neural Synthesizer Instrument – 様々な楽器の音を機械学習で学習させたら、「覚えた音」同士を混ぜたりすること、例えば「トロンボーンとエレキギターの中間の音」を生成するということも可能ではないか・・・というアイデアに、一つの答えが示されました。 機械学習の技術をアート分野に応用するGoogle BrainのプロジェクトMagentaから、また非常に面白い研究成果とデモが発表されました。まずはデモを試してみていただくのが一番良いのではないかと思います。 AI Experiment/NSYNTH: SOUND MAKER ここでは、事前に学習された様々な音同士をミックスさせることができます(牛や猫の鳴き声、雷の音なんてものまで用意されています)。Max MSP/Ableton Liv
Human Learning What WaveNet Learned from Humans
Human Learning What WaveNet Learned from Humans Sep 23, 2016 Sageev Oore osageev osageev (or Learning Music Learned From Music) A few days ago, DeepMind posted audio synthesis results that included .wav files generated from a training data set of hours of solo piano music. Each wave file (near the bottom of their post) is 10 seconds long, and sounds very much like piano music. I took a closer look
Text-based LSTM networks for Automatic Music Composition
In this paper, we introduce new methods and discuss results of text-based LSTM (Long Short-Term Memory) networks for automatic music composition. The proposed network is designed to learn relationships within text documents that represent chord progressions and drum tracks in two case studies. In the experiments, word-RNNs (Recurrent Neural Networks) show good results for both cases, while charact
ディープラーニングで曲のコード進行を生成するウェブサービスを作りました - Qiita
悩める作曲家のために、RNN(リカレントニューラルネットワーク)を利用して、曲のコード進行を生成するウェブサービス Deep Chordを作りました。本記事ではDeep Chordの概要を紹介します。 Deep Chord Deep ChordのRNNの学習・推定にはChainerを、ウェブ部分にはDjangoを利用しています。 Deep Chordの概要 コード進行って？ 例えばピアノの鍵盤で「ド・ミ・ソ」とか「レ・ファ・ラ」とか、複数の音を同時に弾くと、それぞれ異なる響きになりますが、これを和音(コード)と呼びます。この和音が様々に遷移していくことで曲が出来上がるのですが、この和音の遷移こそがコード進行です。 コード進行には、多くの曲で利用される王道進行というものがあります。例えばJ-POPでは、F(ファ・ラ・ド) → G(ソ・シ・レ) → Em(ミ・ソ・シ) → Am(ラ・ド・ミ)、
音割れ音源、機械学習で復元したくない？その1 〜短時間フーリエ変換と近接勾配法〜 - cocuh's note
このまえHな講義*1を受けてたあとに、@polamjag 氏とダベってたら 「音割れ音源復元できないか」 みたいな話がでて面白そうだったので趣味研究してみた成果だったりします。 信号解析初経験な上に片手間でやった研究なので、かなり穴だらけだと思うのでお気づきのことがありましたら、ご指摘お願いします。 背景 話によると、そこらへんで買った音源って音割れしてるらしい。 audacityで[view]->[show clipping]をオンにすると音割れ箇所を可視化してくれる。 ノーポイッを見てみた図。 (amazon mp3で購入、買ってない方ぜひ買いましょう。 http://www.amazon.co.jp/dp/B017BAK632 ) あかい。。。 ということで、ｻｰﾍﾞｲするこくたんであった。 目的 音割れしている音源(5分ぐらいの)をいい感じに補完して 人間の耳にやさしく 補完する。
The Unreasonable Effectiveness of Recurrent Neural Networks
May 21, 2015 There’s something magical about Recurrent Neural Networks (RNNs). I still remember when I trained my first recurrent network for Image Captioning. Within a few dozen minutes of training my first baby model (with rather arbitrarily-chosen hyperparameters) started to generate very nice looking descriptions of images that were on the edge of making sense. Sometimes the ratio of how simpl
Recommending music on Spotify with deep learning
This summer, I’m interning at Spotify in New York City, where I’m working on content-based music recommendation using convolutional neural networks. In this post, I’ll explain my approach and show some preliminary results. Overview This is going to be a long post, so here’s an overview of the different sections. If you want to skip ahead, just click the section title to go there. Collaborative fil
和音進行解析のための語彙フリー無限グラムモデル
和音進行解析のための 語彙フリー無限グラムモデル 産業技術総合研究所 吉井 和佳 後藤 真孝 k.yoshii@aist.go.jp m.goto@aist.go.jp 2011/07/27 SIGMUS91 研究の背景 • 基盤技術としての和音進行解析の重要性 – 和音進行パターンは楽曲を特徴づける要素 • 楽曲のジャンル [Perez-Sancho2009] • 作曲者のスタイル [Ogihara2008] – 音楽音響信号に対する和音系列認識への応用 • 音響モデル：スペクトルの動的変化 • 言語モデル：和音の連鎖に関する制約 – 音楽音響信号に対する自動採譜への応用 • 和音系列が分かれば音高候補の絞り込みが可能 C:maj F:maj G:maj C:maj C E G が演奏されて いる可能性が高い G B D が演奏されて いる可能性が高い 研究の目的
私のブックマーク「音楽情報処理」
北原 鉄朗（JST CREST CrestMuseプロジェクト／関西学院大学理工学研究科） 1. はじめに 本誌の読者の皆さんは、「音楽情報処理」という研究分野を聞いたことがあるだろうか。近年、音楽のネット配信や大容量携帯音楽プレイヤーの普及を背景に、音楽情報処理は急速な発展を遂げた。そういうこともあって、音楽情報処理という言葉を聞いたことない人は、もしかしたら少数かもしれない。とはいえ、音楽情報処理が、情報処理あるいは人工知能の分野における必須科目とまではなっていないのが現状であろう。実際、「情報」を冠する学科で音楽情報処理の講義がない大学は日本中にある。本稿は、そういった、音楽情報処理が専門の教員がいない環境で、独力で音楽情報処理研究を始めようとしている学生、あるいは、担当学生が音楽情報処理研究がしたいと言い出して頭を抱えている教員に捧げるものである。 音楽情報処理と一言で言っても、実
類似楽曲検索システムを作ろう - 人工知能に関する断創録
もう1年以上かけて音声信号処理の勉強をしてきました（Pythonで音声信号処理）。ここらで具体的なアプリケーションとして類似楽曲検索の実験をしてみたのでレポートをまとめておきます。言語はPythonです。 前に 類似画像検索システムを作ろう（2009/10/3） Visual Wordsを用いた類似画像検索（2010/2/27） という画像の類似検索に関するエントリを書きましたが、今回は画像ではなく音楽を対象に類似検索をやってみたいと思います！ 今回作る類似楽曲検索システムは、従来からよくあるアーティスト名や曲名などテキストで検索するシステムや購買履歴をもとにオススメする協調フィルタリングベースのシステムとは異なります。WAVEファイルやMP3ファイルなどの音楽波形そのものを入力とするのが特徴です。たとえば、「具体的なアーティストや曲名は知らないけれど、この曲とメロディや雰囲気が似た曲がほ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blog
Piano Genie Trained a Neural Net to Play 88-Key Piano with 8 Arcade Buttons | Hackaday
機械学習に基づく 音楽情報処理 - IBISML
生体情報・音楽情報処理 - 加藤研究室