ディープラーニングの力で誰でもゆかりさんの声になれる声変換技術を作ってみた
2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。 手法 音声を直接変換しようとすると、利用者の音声データが必要になってしまいます。そこで、音声を直接変換するのをやめて、①音声を構成する要素である音素と音高に分解し、②音素と音高を目標の声（ゆかりさん）に再合成することを考えました。 ①は、音素の抽出に音声認識とOpenJTalkとJuliusを、音高の抽出にWORLDを用いれば簡単に実現できます。そのため、②さえ実現できれば、利用者の声のデータを用意することなく、誰でもゆかりさんの声に変換すること
AIきりたんの仕掛け人、森勢将雅准教授に聞く、AI歌声合成の世界で今起こっていること｜DTMステーション
すでにご存じの方も多いと思いますが、2月22日にAIきりたんなるものが登場し、大騒ぎとなりました。正確にはSHACHI(@SHACHI_KRTN)さんという方が開発したNEUTRINOというAI歌声合成ソフトがフリーウェアで公開されるとともに、それで歌わせた楽曲が、くろ州さんなどによって公開され、話題になったのです。2月22日は、ちょうどMIDI 2.0の日米合意があった日で、そのドタバタでネットをチェックできておらず、私が気づいたのは24日になってから。その歌声を聴いて驚愕しました。 実際どんなものなのかと、さっそくNEUTRINOをダウンロードし、手元にあったMusicXMLデータを元に歌わせてみると、従来のVOCALOIDなどとは別次元の人間的な歌声で、東北きりたんが歌ってくれてさらに驚いたのです。どういうことなのか知りたいと思い、開発者のSHACHIさんに連絡してみたところ「種々の
WORLD
WORLDについて WORLDは，Vocoderのアイディアを発展させた音声分析変換合成システムです． 発達した計算機能力を駆使し，高品質で柔軟な音声分析・変換・合成の実時間処理を目的としています． UTAUの合成エンジン，また音声創作ソフトウェアCeVIOの音声分析の一部にもWORLDが使われています． 新着情報
NEUTRINO - Neural singing synthesizer
NATURAL & SMOOTH実際に歌手が楽曲を歌ったデータから特徴を抽出しており、本人の声質だけではなく癖・歌いまわしなどを最新の歌声生成AIで再現します。歌詞とメロディーを入力するだけで簡単に歌わせることができ、実在の歌手に依頼するような感覚で制作を進めることができます。 QUICK STARTインストールはワンクリックで完了。すぐに制作を開始いただけます。 Windows / MacOS / Linux / Onlineでの動作に対応しており、環境を問わずご利用いただけます。 CLEAN DATA & CLEAN MODELモデルの学習には声優・演者様の許諾の上収録した音声データ、もしくは大学などの公的機関から公開されている音声データのみを利用しております。既存の学習済みモデルは利用しておらず、上記データを用いてフルスクラッチで学習を行っております。権利的・倫理的にクリーンな
「AIきりたん」がすごい - すずしめにっき
ゆうべ、そろそろ寝ようかなと思っていたらものすごいものが投下され、興奮して結局3時半まで起きてしまいました。 ということで、昨晩公開された「AIきりたん」こと歌声合成エンジンNEUTRINO1について（今の興奮をあとで思い返すためにも）書いておきます。 AIきりたんとは とりあえずこれを聴いてみてください。 これが合成音声か！？と思ってしまうような仕上がりですが、これがAIきりたん……歌声合成エンジンNEUTRINOによって生成されたきりたんの歌声です。 NEUTRINOはSHACHIさん(@SHACHI_KRTN)によって製作されたフリーウェアで、昨晩公開されました。その標準の同梱ライブラリの1つが東北きりたんのものなので、そちらのことが「AIきりたん」または「AIシンガーきりたん」と呼ばれているというわけです。 ニューラルネットワークを用いた歌声シンセサイザー【NEUTRINO】を公開
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mmorise/World: A high-quality speech analysis, manipulation and synthesis system
