これはヤバすぎる!? ASMRの世界に衝撃が走る『ささやき声』の音声合成。VOICEVOXの破壊力｜DTMステーション
昨年8月、彗星のように登場し、音声合成業界に大きな衝撃を与えたオープンソースのAI音声合成ソフトウェア、VOICEVOX。リリース当初はWindows専用で「ずんだもん」と「四国めたん」という2つのキャラクタの声でテキストを読み上げるソフトでしたが、その後、Mac版、Linux版が登場するとともに、GPUを使って高速に処理できるモードも搭載。そして、「春日部つむぎ」、「雨晴はう」、「波音リツ」……などなど多くのキャラクタが追加されてきました。すごいのは、商用・非商用を問わず無料で使えるということで（キャラクタによって利用規約は異なります）、多くの人たちに利用されてきました。 そして今回、VOICEVOXとして10番目となる新キャラクタ、「九州そら」が誕生。ノーマル、まあまあ、ツンツン、セクシーという4つのスタイルに加え、はじめて「ささやき」というものが搭載されたのです。これまで音声合成の世
AI音声のCoeFontが、ゆっくり実況プレイ動画編集ソフトで使えるようになった！｜DTMステーション
AI技術の進化で、ここ1、2年で急激な性能向上を実現している音声合成の世界。まさに機械が読んでいるのか、人間が読んでいるのか区別がつかないレベルになってきているわけですが、ここにきて、また面白い活用例が登場してきました。いわゆる「ゆっくり実況動画」を作成するフリーウェア「ゆっくりMovieMaker4」で、AI音声合成で人気のCoeFontが利用できるようになり、ゆっくりMovieMakerの利用範囲が一気に広がる形になったのです。 CoeFontは声をフォントのように利用できるようにしたサービスで、誰でも自分の声をCoeFontにできるとともに、ユーザーは公開されているCoeFontを使って喋らせることができる、というもの。今回このCoeFontとゆっくりMovieMakerがシステム的に連携したことにより、まさに人のような声で、誰でも無料で、簡単にテロップ・音声入りの解説動画を作ること
WindowsはもちろんMacでも使え、DAW上のVSTiとしても動作するCeVIO Pro (仮)がα版として無償配布開始｜DTMステーション
CeVIO Creative StudioやCeVIO AIなどのエンジン部分を開発してきた株式会社テクノスピーチが2月24日、新たな歌声合成ソフト、「CeVIO Pro (仮)」（チェビオプロ）を発表するとともに、正式版リリースへの準備段階としてα版の無償配布を開始しました。このCeVIO Pro (仮)は、WindowsだけでなくMacでも動作するソフトであり、スタンドアロンで動作するとともに、WindowsおよびMacのVSTiのプラグインとしても動作するものとなっています。 またCeVIO Pro (仮)にはソングエディタともに、デフォルトボイスライブラリとして女性シンガーである「知声」（読み：ちせい、英語表記：Chis-A）が付属。ここで合成された歌声の波形データは個人／法人、商用／非商用を問わず、原則、無料で利用することが可能となっています。実際どんなものなのか、試してみた一方
無料でキャラクターボイスを自動で合成してくれるAIトークソフト「COEIROINK」は誰でも超簡単に創作物の「声」を作り出せる
シロワニさん氏が趣味で開発したというWindows向けのAIトークソフト「COEIROINK(コエイロインク)」が無料で公開されています。COEIROINKは連絡不要で商用利用もOKなフリー素材キャラクター・つくよみちゃんに好きなテキストを誰でも簡単に読み上げてもらうことが可能なので、自作アニメやボイスドラマのキャラクターボイス、実況動画や解説動画のナレーションなどの作成にお役立ちです。 COEIROINK https://coeiroink.com/ ✨COEIROINKリリース✨ 無料の音声合成エンジン「#COEIROINK」が登場！ 文章を読み上げます！ ■公式サイト⇒https://t.co/66YStrCYu0 ■COEIROINK開発：シロワニさん様 @shirowanisan ■VOICEVOX開発：ヒホ様 @hiho_karuta 第１弾は「#つくよみちゃん」！ 商用利用O
イヤホン配信を支える音のプログラミング入門 - Mirrativ Tech Blog
こんにちわ。shogo4405です。本エントリーは普段UI開発を行なっているクライアントエンジニア向けに、Mirrativのイヤホン配信を支えている音のプログラムの基礎を紹介していきたいといます。 音のプログラミングの概要を掴んでもらい、より詳しい部分については文献を調べるための参考になれば幸いです。 はじめに イヤホン配信の概要になります。Mirrativの配信はゲーム音源をマイクからの集音に頼っています。ユーザーが配信を行う際に、イヤホンを装着するとゲーム音源が配信にのらず視聴側としては物足りない配信になります。 これを解決する手段として、OS内部で再生中のゲーム音源をキャプチャーした音源。マイクから集音した音源。これらの音源を合成する方法があります。この手段をとることにより、イヤホンしながらでもゲーム音声を視聴者に届けることができるようになります。サービス上では、イヤホン配信と呼称し
商用でも利用可能なAI音声合成ソフトウェア『VOICEVOX』がオープンソースとして無料でリリース｜DTMステーション
本日8月1日、音声合成技術の世界に、また画期的な動きがありました。「Seiren Voice」や「Yukarinライブラリ」の開発者としても知られるヒロシバ（@hiho_karuta）さんが、ITAコーパスを利用した商用利用も可能なAI音声合成システム、VOICEVOXなるソフトウェアをオープンソースのとして無料でリリースしたのです。具体的には現時点Windowsで動くシステムで、「ずんだもん」および「四国めたん」の声でテキストを読み上げるシステムとなっています。 これがオープンソースとなったことで、一般ユーザーが自由に利用できるというだけでなく、さまざまなシステムに組み込んで喋らせることが可能になったのが画期的なところ。たとえばロボットなどに組み込んで対話型のシステムを作ることや、観光案内システムに導入して喋らせる……といったこともできるほか、クラウド型のシステムを構築し、ブラウザを経由
Unity でリアルタイムにリップシンクを行うプラグインを更に作り直してみた - 凹みTips
はじめに 前回、リップシンクするプラグインを作り直してみた記事を書きました。 tips.hecomi.com 色々とご反響を頂いたのですが、しかしながら母音推定の性能がいまいちでした。第 1 、第 2 フォルマントという周波数スペクトルの 1 つ目、2 つ目のピークを検出する方法を採用していたのですが、このピークの検出が周波数スペクトル包絡を得るために使っている LPC 解析のパラメタに大きく依存したり、またノイズや声の高さによって容易にピークが別の場所に移ってしまったりといったことが原因でした。 そこで手法を変え、MFCC（メル周波数ケプストラム係数）を求める方式へと変更しました。 speechresearch.fiw-web.net これはディープラーニング以前の音声認識に使われていたもののようで、母音だけでなく子音も含む音素の検出が可能な特徴量になります。以前の手法と異なりピッチ変化
ディープラーニングの力で誰でもゆかりさんの声になれる声変換技術を作ってみた
2年ほど前に、自分の声を結月ゆかりにする声質変換技術を作り、動画を投稿しました。この技術には利用者の音声データが大量に必要であるという欠点があり、ゆかりさんになりたいというみなさんの願いを叶えるのが難しい状態でした。そこで、この技術を利用者の音声データが不要になるように改良し、誰でも簡単に使えるようにしました。ここではその技術について解説します。 手法 音声を直接変換しようとすると、利用者の音声データが必要になってしまいます。そこで、音声を直接変換するのをやめて、①音声を構成する要素である音素と音高に分解し、②音素と音高を目標の声（ゆかりさん）に再合成することを考えました。 ①は、音素の抽出に音声認識とOpenJTalkとJuliusを、音高の抽出にWORLDを用いれば簡単に実現できます。そのため、②さえ実現できれば、利用者の声のデータを用意することなく、誰でもゆかりさんの声に変換すること
【インタビュー】キャラボイス制作のニュースタンダード「FutureVoice Actors」のキーマンに直撃！進化し続ける新時代の音声合成サービスとは | gamebiz
株式会社NTTドコモ、NTTテクノクロス株式会社、株式会社GADGET（ガジェット）、株式会社アクロス エンタテインメントの４社が発表した音声合成サービス「FutureVoice Actors」（以下、「FVA」）。 アクロス エンタテインメント所属の花江夏樹さんや内田彩さんといった実在する人気声優の声をベースに、本人の声を高いクオリティで再現した次世代の合成音声を扱うことのできるサービスであり、ゲーム開発において期間短縮やコスト削減の可能性に期待されている。 「FutureVoice Actors」 紹介ページ 株式会社サイバードからリリースされている『M-Noah（エムノア）』でも実装されており、従来のアプリとは違った没入感が実現されている。 本記事では、プロジェクト担当者である山崎氏、鳥居氏、浅見氏、原氏（写真左順）にインタビューを実施。「FVA」の立ち上げ経緯や今後の可能性、展望に
花江夏樹さん，金田朋子さんら人気声優の声を収録無しでアプリやゲームに導入できるサービス「FutureVoice Actors」が登場
花江夏樹さん，金田朋子さんら人気声優の声を収録無しでアプリやゲームに導入できるサービス「FutureVoice Actors」が登場 編集部：Gueed NTTドコモとNTTテクノクロス，アクロス エンタテインメント，GADGETは，NTTテクノクロスが提供する音声合成ソリューション「FutureVoice Crayon」シリーズの新サービス「FutureVoice Actors」の法人向け提供を，本日（2020年11月6日）開始した。 このサービスは，最小限の手続きで，自社のアプリやゲームで人気声優の「声」を活用できるというもの。声優の声をクラウドサービスで提供するため声優の稼働や編集の手間を削減できる点，AIを活用した音声合成技術をもとに人気声優の声を忠実に再現している点，権利調整の手間を削減できる点がウリとなっている。 ラインナップとしては，花江夏樹さん，金田朋子さん，内田 彩さん，
Pythonの音声処理ライブラリ【LibROSA】で音声読み込み⇒スペクトログラム変換・表示⇒位相推定して音声復元 - Qiita
LibROSAとは LibROSAはPythonの音声処理ライブラリです。 様々な音声処理を簡潔に記述できます。 今回は以下の音声処理の基本処理をまとめました。 音声の読み込み 周波数を指定して音声を読み込み Notebook上で、音声をプレーヤーで再生 音声波形のグラフを表示 スペクトログラムへの変換 STFTで音声からスペクトログラムへ変換 強度をdB単位に変換 スペクトログラムのカラープロットを表示 音声を復元 逆STFTでスペクトログラムから音声を復元する場合 位相情報を推定して音声を復元する場合 ソースコード：https://github.com/lilacs2039/ColabNotebooks/blob/master/audio/LibROSA%E4%BD%BF%E3%81%84%E6%96%B9.ipynb 初期化 import os from tqdm import tq
ドワンゴ、AIボイスチェンジャー公開 誰の声でも100人の声に変換
ドワンゴは9月14日、ディープラーニング技術を活用したボイスチェンジャー「Seiren Voice」をWebサイトで無償公開した。デモページでは、声を録音して変換先の声を選び、変換ボタン押すと自分の声を100人分の声に変換できる。 録音した音声を加工するのではなく、目標の人物の声に変換するもの。選べるターゲットの数は100種類。変換のリアルタイム性より変換品質を優先しており、変換には数十秒から数分の時間がかかる。 既存の声質変換システムはリアルタイムに変換するものが多く、品質を重視したものはあまり見かけないとして開発に挑んだという。音声の合成には、スマートスピーカーなどで使われるWaveNetという方式から派生したWaveRNNを採用した。 ディープラーニングを使った声質変換では、変換前の声と目標とする人物の声をセットで学習する手法がとられることがある。この手法ではボイスチェンジャーを使い
初めてのサウンドプログラミング - Qiita
サウンドプログラミングしたい。 ゴリゴリの文系、音楽の素養ナシのwebエンジニアが0から音楽系サウンドプログラミングを学んでいく話です。ちなみに最終目標はコーラスを合成するGUIアプリ。道のりとおし。 それまでに学んだことをぼちぼち落としていきたいと思っています。 サウンドプログラミングとは? サウンドプログラミングと一口に言っても、音声認識だったり音楽だったり、電話の信号変換の話もあったりします。とにかく幅が広い。 私が指しているサウンドプログラミングとは、デジタルオーディオの世界の方です。 誰向けか? サウンドプログラミングに興味があるけどどこから手をつけるべきかわからない人 数学ができない人 プログラミングはやったことある人 シンセサイザーを自作してみたい人 さあ始めよう! しかし、いざサウンドに手を出してみると、知らなければならない情報が多すぎて何を勉強したらいいのかわからないのも
MYukkuriVoice
MYukkuriVoice 動画作成用ゆっくりボイス App for Mac OSX. Download Latest Version Help View on GitHub MYukkuriVoice MYukkuriVoiceは、AquesTalk を利用した Mac OSX 向けの 動画制作向けに調整された合成音声生成アプリケーションです。 入力した日本語メッセージから音声ファイルを作成できます。 macOSX El Capitan (10.11)、macOS X Sierra (10.12)、および、 macOS High Sierra(10.13)以降に対応しています。 本ソフトは、(株)アクエストの音声合成ライブラリ AquesTalk を使用しており、その著作権は同社に帰属します。 本ソフトを営利目的で使用する場合は当該ライブラリの使用ライセンスが必要となります。ご注意くださ
NEUTRINO - Neural singing synthesizer
NATURAL & SMOOTH実際に歌手が楽曲を歌ったデータから特徴を抽出しており、本人の声質だけではなく癖・歌いまわしなどを最新の歌声生成AIで再現します。歌詞とメロディーを入力するだけで簡単に歌わせることができ、実在の歌手に依頼するような感覚で制作を進めることができます。 QUICK STARTインストールはワンクリックで完了。すぐに制作を開始いただけます。 Windows / MacOS / Linux / Onlineでの動作に対応しており、環境を問わずご利用いただけます。 CLEAN DATA & CLEAN MODELモデルの学習には声優・演者様の許諾の上収録した音声データ、もしくは大学などの公的機関から公開されている音声データのみを利用しております。既存の学習済みモデルは利用しておらず、上記データを用いてフルスクラッチで学習を行っております。権利的・倫理的にクリーンな
じぇみに広野氏が語るレトロゲーム機のPCM再生技術
じぇみに @jeminilog PC-8001版モンスターパニック（誰が知ってるんだそれは）の作者。FC版ルナボール、ZANAC、PCE版ガンヘッド、スーパーアレスタ、海外MS版パワーストライク２等のプログラマー・・・って昔のばっかで最近コレってのがないのはどうなん。このアイコンはコンパイル時代のHDDから掘り出したんだけど描いたのダレでござるか。 ぱんどら @kopandacco 趣味はPCのジャンクいじり。組んだりバラしたり壊したり（おい）エロねたもRTするのでフォローしてくださる方はご注意を。絵描きは最近復活したけど技量的にはうんまあほら。ですのでこの可愛いアイコンはのとすさん（https://t.co/5AtdySPD9l）制作なのです。
リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました
はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま
Pythonで音響信号処理 - Qiita
Python その2 Advent Calendar 2015の13日目の記事です。 普段の仕事として主に音響信号処理のアルゴリズム開発やDSP実装などを行っているのですが、アルゴリズムを構築する際は最初にPythonを使ってアルゴリズムの検討を行い、その結果を踏まえてCやC++でPC上で動作するリアルタイムモデルを作成するという流れで行っています。音響信号処理に関するまとまった日本語記事は意外に存在しないため、ここではPythonで音響信号処理を行う方法およびこれまでに仕事等で使って来たノウハウなどを適当にまとめようと思います。 目次 Pythonで音響信号処理をするモチベーション オーディオファイルの読み書き リアルタイムにオーディオ処理を行いたい 周波数応答を表示したい デジタルフィルタを設計したい 零点、極と係数配列b, aを変換したい デジタルフィルタを時系列信号に適用したい 群
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CoeFont
歌詞をテキストで流し込むだけで流暢に歌唱。MicrosoftのクラウドAIを駆使したボーカル音源が無償公開
