DDSPのチュートリアルをのぞいてみた(Differentiable Digital Signal Processing) | 創造日記

今回は音声変換のモデルの１つであるDDSPについて公式ページを参照しながら遊んでみようと思う。 論文リンク 実装リンク 1. DDSPとは 論文のまとめとして今度詳しく書こうと思うがやらない可能性もあるのでここでも分かる限りのことは書いておく。 デモページの音声をまずは聞いてみて欲しい。 デモページで掲載されている音声をここで掲載するのはさすがに気が引けるので是非元のサイトで音声を聞いてみてほしい。 書かれている英語の雰囲気の訳をここに流していく。 図はデモページのものを流用した。 従来の音声生成モデルであるWaveNetやGANSSynthはいわゆるブラックボックスで、どのようにして音声を生成しているのかよくわからない部分も多かった。 その影響もあり、パラメータを変更することで思うような音声を簡単に出す、といった制御は難しいものとなっている。 今回のDDSPでディープ以前のデジタル信号処