DANet(Deep Attractor Network)の実装と解説 - Qiita

はじめに 音声を任意の数に分離するモデルであるDANet(Deep Attractor Network)の実装と解説をします。 DANetは論文"DEEP ATTRACTOR NETWORK FOR SINGLE-MICROPHONE SPEAKER SEPARATION"で提案されているモデルです。 このモデルを環境音データセットのESC-50を使って学習させ、その分離音性能をGNSDR、GSAR、GSIRで測定しました。 実装にはTensorflowとKerasを用いました。 実装の全コードはGithubにあります。 また、それらを実行して学習やGNSDR等の測定ができるGoogle Colabのファイルもあります(GithubのDANet.ipynbをGoogle Colabで開いたもの)。 公式のPytorchを用いた実装もGithubに公開されています。 追記(2021/3/10

[sh19910711]

"DANet; Deep Attractor Network: 音声を任意の数に分離するモデル + 音声を双方向LSTMに入力 + 周波数方向とembedding空間方向に分離 / 推論時にはVをkmeansクラスタリングし、そのときの中心点を用いることでAtractorを生成" 2021