ChatVRMでVOICEBOXを使う方法｜Masayuki Abe
ダウンロードするだけじゃなく、起動させておいてください。 nike-ChatVRMをダウンロードして準備します。 git clone https://github.com/tegnike/nike-ChatVRM.git cd nike-ChatVRM npm install npm run devhttp://localhost:3000をブラウザで開きます。 OpenAI APIキーを入力して、閉じる(CLOSE)をクリックします。 初期画面 VOICEBOXを使うために、左上の歯車をクリックします。 設定画面合成音声エンジンの生成で、VOICEVOXを使用する(Japanese Only)を選択します。次に、声の調整で、ボイスタイプ選択で選択したい声を選択します。 会話をします。 会話画面会話したいことを入力してEnterをクリックすると、回答が出てきます。それに続いて音声で回答され
ずんだもん読み上げに感情を与える（Bert-VITS2のkey別マージ）
この記事は本家Bert-VITS2のモデルをマージする方法を説明しています。Style-Bert-VITS2を使う場合は付属マージツールから面倒なことをすることなくマージできます。 宣伝 Style-Bert-VITS2のチュートリアル解説動画を作りました discordサーバー「AI声づくり研究会」によく出没しています 概要 Bertを組み合わせることで入力テキストに応じて感情豊かな読み上げ音声の生成が可能な Bert-VITS2 というTTS（Text-to-Speech、読み上げ音声合成）のライブラリがあります。 詳しくは 参照。 Bert-VITS2を使ってずんだもんの通常の声音のみを学習させたずんだもんのモデルと、感情豊かな別のモデルをうまくマージすることで、ずんだもんの声のまま感情豊かに読み上げることが出来るモデルを作ることができたので、その実験と、手っ取り早いマージツールの共
RVCの構造についてのメモ
はじめに こんにちは、nadareです。 機械学習エンジニアで、普段はレコメンド・検索関連のお仕事をしています。いろんな競技プログラミングが好きです。 Retrieval-based-Voice-Conversion(以下RVC)という技術に関心を持ち、本家Retrieval-based-Voice-Conversion-WebUIやddPn08さん版RVC-WebUI、VC ClientにPR投げつつ勉強しています。 最近は自分でRVCのモデル構造弄って遊んでいます。最近勉強した技術の実験場みたいな感じなので本家にPRださないとは思いますが、その過程でRVCの学習回りについていろいろ分かってきたので自分用にまとめたいと思います。 RVCの構成 RVCはTTS(text to speech)とVC(Voice Convertaion)のモデルであるVITSをベースに、VCに特化させ『模倣対
無料＆音声をリアルタイムで変換できるAIボイスチェンジャー「Koemake RVC Player」レビュー
オープンソースのAIボイスチェンジャー「Retrieval-based Voice Changer(RVC)」は、あらかじめ用意した音声から学習したモデルを作成し、リアルタイムで声質を変換することが可能です。このRVCで作成した音声変換モデルを手軽に実行できるボイスチェンジャーソフト「Koemake RVC player」を電々メイさんが無償でリリースしたので、実際に使ってみました。 Koemake Project https://koemake.com/ Koemake RVC Playerを動かすための推奨スペックは「VRAM4GB以上、NVIDIA製GPU搭載、Windows 10以上」となっているので注意が必要です。 Koemake RVC Playerをダウンロードするには、上記の配布サイトでユーザー登録をする必要があります。配布サイトにアクセスしたら、右上の「ログイン」をクリッ
RVCのモデルを日本語向けに事前学習する - Qiita
こんにちは、nadareです。 機械学習エンジニアで、普段はレコメンド・検索関連のお仕事をしています。いろんな競技プログラミングが好きです。 最近はRetrieval-based-Voice-Conversion(以下RVC)という技術に関心を持ち、本家Retrieval-based-Voice-Conversion-WebUIやddPn08さん版RVC-WebUI、VC ClientにPR投げつつ勉強しています。 本記事では、RVCのモデルで綺麗な日本語に変換するための学習テクニックを紹介します。 2023/05/24 追記 続・RVCのモデルを日本語向けに事前学習するを公開しました。最新の内容にアップデートしたので、こちらもご参照ください。 2023/05/14 16:20追記 これまではITAコーパス読み上げ音声を10~30epoch学習させたもので比較していて、その時点では事前学習
生成系AIについて開発者が知っておくべきこと | gihyo.jp
この記事は、GitHub Blogに4月7日に掲載された「What developers need to know about generative AI」の翻訳記事です。 昨今のニュースを席捲する「生成系AI（Generative AI）」ですが、厳密にはどのようなものでしょうか？ 生成系AIについて知っておくべきこと、また開発者にとってどのような意味を持つのかについて説明します。 皆さんはこれまでに、ChatGPT、DALL-E、GitHub Copilotといった生成系AI（人工知能）ツールについて聞いたことがあるかと思います。生成系AIツールを利用すると、メールの件名からプログラミングコードの関数、アートに至るまで、誰でも瞬時にコンテンツを作成できるため、幅広い関心を集めています。 様々な業界のコンテンツ制作に革命をもたらす可能性があることから、生成系AIとは何か、どのように利
ChatGPT+Replicate+VOICEVOXでAI画像とシナリオを生成して読み上げてもらう｜ライ / rais corr.
こんにちは、ライです。 3/2にChatGPTのAPIが公開されてから、様々なアプリケーションが作られている様子をTwitterで見かけるようになってきました。 私はStable Diffusionで遊び始めたことをきっかけにPythonに初めて触れた程度でプログラミング経験はほぼないのですが、ChatGPTの助けを借りながらなら自分でも何か作れるのでは？と思い始めました。 これまで画像生成AIで遊んでいたこともあり、ChatGPTと画像生成AIを掛け合わせて、何か面白いものをを作れないかなぁと考えました。 で、作ったアプリはこのようなものです。 テーマを入力すると、AIイラストとシナリオを生成して読み上げてくれるアプリを自分用に作りました。 好きな世界観に浸れる感じがすごくいい！#AIart #AIイラスト #ChatGPT pic.twitter.com/yGgdvaMYi4 — ライ
AIボイチェン「RVC」の精度と学習・変換速度が革命的。コナンの蝶ネクタイ的リアルタイムボイチェンも可能（CloseBox） | テクノエッジ TechnoEdge
おいおいまたかよ、驚き屋かお前はと言われそうですが、またゲームチェンジャーなんですよ。ほんとすいません。全部AIが悪いんです。 AI関連はちょっと目を離すと取り残されてしまいます。後から来たのに追い越され、泣くのが嫌なら歩いていくしかないのです。今回、それが再びAI音声合成で起きました。 筆者はAIアートグランプリを受賞したおかげでいろいろなところから取材を受けたり自分でも解説記事を書いたりしていますが、その中で、Diffusion（拡散）モデルを使ったDiff-SVCというAI声質変換によってリアルな元音声を再現できると説明してきました。ですが、これからは「実は今は新しいAI技術を使っているんですよ」と付け加えなければいけません。 妻の歌声を合成するのに使っていたDiff-SVCから別の新しい技術に乗り換えてしまったのです。 Diff-SVCが出た後に、So-VITS-SVC（SoftV
最近のAIボイスチェンジャー(RVC、so-vits-svc)
私は趣味で機械学習を学ぶ初学者であり、説明に間違いや勘違いがある可能性があります。そういった点がありましたらコメントで指摘していただけると助かります。 また、so-vits-svcやRVCは論文ベースでの技術発表が無いため、以下はコードや周辺情報からの想像を含みます。 修正履歴 2023/04/15 RVCの動作について誤りがあったので修正しました。nadare🌱さんご指摘ありがとうございます。 AIボイスチェンジャーとは ある発話音声の入力を特定の話者が発話したような声質の発話音声に変換するための、深層学習を使用したアプローチがそう呼ばれている印象です。 以前から、深層学習を用いたリアルタイムボイスチェンジャーはMMVCなどが存在していました。 最近(2022年11月頃から2023年4月頃)では、Retrieval-based-Voice-Conversion 通称RVC や、Soft
【リアルタイムボイチェン編】RVCを用いたリアルタイムボイスチェンジを1から解説してみる｜omiz
VC Client新バージョンで追加されたRVC周りの新機能についてまとめました、これやるだけでかなり変わりますhttps://t.co/qSSgazBgBg#RVC #VCClient — omiz (@omiz_aiart) April 15, 2023 いよいよラストです。もうちょっとで理想の声になれます。 当たり前ですが悪用厳禁です。 ①VC Clientの起動 ②モデルの選択・アップロード ③音声の確認 ④音声の調整 ⑤Discordでボイチェンを使う ①VC Clientの起動MMVCServerSIO\start_http_RVC.batを開きます。するとコマンドプロンプトが起動し、ローカルホストでVC Clientが立ち上がるはずです。 ②モデルの選択・アップロード画面中央のselectから【学習編】で作成した.pthファイルを指定します。 次にuploadをクリックすると
【学習編】RVCを用いたリアルタイムボイスチェンジを1から解説してみる｜omiz
はじめにこの記事は【準備編】RVCを用いたリアルタイムボイスチェンジを1から解説してみる、【学習セット用意編】RVCを用いたリアルタイムボイスチェンジを1から解説してみるの続編です。まだ読んでない人は準備編から見てね。 RVC-betaフォルダのgo-web.batを起動するとコマンドプロンプトが起動し、ローカルホストでweb-uiが起動します。 起動したら训练タブを開きます。 step1输入实验名は完成したモデルの名前になります。分かりやすい名前にしましょう。 ⚠スペースをいれたり'をいれたりした場合、その後の輸出信息にで不具合が発生するようです。数字とアルファベットのみの名前だと問題なく機能します。 目标采样率は学習セット用意編に合わせて48kにしましょう。 模型是否带音高指导(唱歌一定要，语音可以不要)は是にすると歌えるっぽいです。 step2a输入训练文件夹路径は学習セット用意編で
【学習セット用意編】RVCを用いたリアルタイムボイスチェンジを1から解説してみる｜omiz｜note
はじめにこの記事は【準備編】RVCを用いたリアルタイムボイスチェンジを1から解説してみるの続編です。まだ読んでない人は準備編から見てね。 この記事で紹介している内容に関して私は一切の責任を負いません、自己責任でお願いします。また、声には著作権・肖像権が関係しているので、トラブルになるようなことはお控えください。 ①学習セットの条件 ②音声の加工 ③加工した音声を分割する ④wavファイルを書き出す ①学習セットの条件条件は、ノイズが少ない数秒間の発話音声(.wav)です。 理想はITAコーパスのような、ノイズのない数秒で区切られた音声ですが、用意する難易度が高いです。 なので、この記事ではBGMの無い数分から数十分の音声から作る方法を紹介します。 追記 だだぱんさんがBGM消し去るツールの記事書いてくれました。 ②音声の加工Audacity v2.4.2を開きます。 でてきた画面に用意した
【準備編】RVCを用いたリアルタイムボイスチェンジの使い方を1から解説してみる｜omiz
用意するもの①VB-CABLE Virtual Audio Device（仮想オーディオデバイスならなんでも） ②7zip ③Hugging Faceアカウント ④VC Client v.1.5.2.2 ⑤hubert_base.pt ⑥RVC-beta ⑦Audacity どれくらいのスペックが必要かメモリを16GB積んでいてかつ、グラボを積んだゲーミングPCであれば問題ないと思います。 私のパソコンは、 GPU NVIDIA GeForce RTX 2070 SUPER CPU Intel(R) Core(TM) i7-10700 メモリ 32GB です。これくらいのスペックがあれば余裕を持って学習・ボイチェンできます。 追記:強いMacでも動くらしいです ①VB-CABLE Virtual Audio Device DiscordとかゲームのVCでボイチェンを使うのに必要です。 公式
「RVC」+「VC Client」で自分の声を任意の声にリアルタイム変換しよう！ - Eヤツのブログ
【導入】 ・この記事の最終目標は「リアルタイム変換でずんだもんボイスになってDiscordで通話する」です。 ・大まかな記事の流れは「RVCで学習モデルを作る」→「学習モデルをVC Clientに入れる」→「リアルタイムボイチェン完成！」です。 ・「RVC」という超凄い非リアルタイム音声変換ソフトが話題になったと思ったら、翌日に「VC Client」という超凄いソフトがリアルタイム音声変換に対応したのを聞いたので、急いで記事を書きました。 ・この記事ではずんだもんボイスになることを目標としていますが、学習先の音声さえあればどんな音声にもなれます。 【手順】 ①～RVCのダウンロード～ ・以下のURLを開いて、「RVC-beta.7z」をDLします。（要Hugging Faceアカウント）（Hugging Faceアカウントを持ってない人は無料なので作りましょう） https://huggi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
litagin/moe-speech · Datasets at Hugging Face
3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威。MSが非公開にした技術のOSS版を試して実感した（CloseBox） | テクノエッジ TechnoEdge
GitHub - log1stics/voice-generator-webui: A multi-speaker, multilingual speech generation tool
RinneAi/RinneVoiceSet · Hugging Face
wok! on Twitter: "Macユーザの皆様!! VC Client for RVCがMacにも対応しました！是非RVCの素晴らしさを体感してください。 動画の音声は、つくよみちゃんと刻鳴時雨の声をお借りしています。 Mac版はWin版と同じく, #MMVC, #つくよみちゃん, #あみたろ, #れぷりかどーる にも対応しています。(1/2) #vcclient https://t.co/wwjC2aBzom" / Twitter
GitHub - teftef6220/Voice_Separation_and_Selection: Separation voice and delete files with majority silence
