はてなブックマーク

はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま

はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま

この記事はChainer Advent Calendar 2017の23日目の記事です。 僕は普段、Chainerを使って研究開発しています。 このとき、クラスをどう分けるべきかよく悩みます。 いろいろやってみてある程度固まってきたので、自分なりにまとめてみました。 ChainerなどのDeepLearningフレームワークを使う理由は大きく分けて３段階ほどあります。 再現実験 試行錯誤を伴う実験 学習済みモデルを用いたシステムづくり 世の中に転がっているChainerサンプルプログラムは大体(1)のもので、こちらは綺麗にまとまっているものが多いです。 一方で、何か新規に実験していると、どうしても試行錯誤が発生してコードが煩雑になります(2)。 そしてさらには、(1)や(2)で学習したモデルを使ってサービス応用しようとすることもあります(3)。 今回は研究開発用のコード、つまり、サービス応

目次 （背景）自分の声を結月ゆかりにしたい。前回はあまりクオリティが良くなかったので、手法を変えて質を上げたい。 （手法）声質変換を、低音質変換と高音質化の二段階に分けてそれぞれ学習させた。画像分野で有名なモデルを使った。 （結果）性能が飛躍的に向上し、かなり聞き取れるものになった。 （考察）精度はまだ改善の余地があり、多対多声質変換にすることで精度が向上すると考えられる。今回の結果を論文化したい。 デモ動画 背景多くの人が可愛い女の子になりたいと思っている。 ＣＧ技術やモーションキャプチャ技術の向上により、姿は女の子に仮想化できるようになってきた。 しかし、声に関してはまだまだ課題が多い。 声質変換は「遅延」「音質」「複数話者」などの難しい課題がある。 今回は、自分の声を結月ゆかりにするための、低遅延で実現可能な高音質声質変換を目指した。 手法大きく分けて３つの工夫をした。 画像ディープ

目次 （背景）声質変換用のデータを作るために音声アライメントを試してみたい （手法）声優統計コーパスのデータを使用し、MFCCでアライメントした （結果）アライメント後の音声はところどころ伸びていた。無音とする閾値を下げると伸びは抑制された。 （考察）もっと完璧に揃うと思っていた。 話者１のメルスペクトログラム 話者２のメルスペクトログラム 背景DeeeeepLearingを使って声質変換してみたい。 どうやら最初に、違う話者による同じ発話内容の音声を揃える必要があるらしい。 声質変換用のデータを作るために音声アライメントを試してみた。 手法データセットは声優統計コーパスの音声データを使用した。 話者はfujitou_normal（話者１）とtsuchiya_normal（話者２）を選んだ。 アライメント用の特徴量はいろんな文献に従いMFCCとした。 MFCC抽出にはWorldと、そのpy