最近のAIボイスチェンジャー(RVC、so-vits-svc)

私は趣味で機械学習を学ぶ初学者であり、説明に間違いや勘違いがある可能性があります。そういった点がありましたらコメントで指摘していただけると助かります。 また、so-vits-svcやRVCは論文ベースでの技術発表が無いため、以下はコードや周辺情報からの想像を含みます。 修正履歴 2023/04/15 RVCの動作について誤りがあったので修正しました。nadare🌱さんご指摘ありがとうございます。 AIボイスチェンジャーとは ある発話音声の入力を特定の話者が発話したような声質の発話音声に変換するための、深層学習を使用したアプローチがそう呼ばれている印象です。 以前から、深層学習を用いたリアルタイムボイスチェンジャーはMMVCなどが存在していました。 最近(2022年11月頃から2023年4月頃)では、Retrieval-based-Voice-Conversion 通称RVC や、Soft

[shunkeen]

音素列から音声を生成するVITSをボイスチェンジャーに応用するには、変換前の音声を音素列に変換する処理があればよくて、音素列に変換するときに落ちた情報を復元する処理があると、なお良いみたいな話かな？

[Nyoho]

最近のvoice conversionの解説