AIボイチェン「RVC」の精度と学習・変換速度が革命的。コナンの蝶ネクタイ的リアルタイムボイチェンも可能（CloseBox） | テクノエッジ TechnoEdge
おいおいまたかよ、驚き屋かお前はと言われそうですが、またゲームチェンジャーなんですよ。ほんとすいません。全部AIが悪いんです。 AI関連はちょっと目を離すと取り残されてしまいます。後から来たのに追い越され、泣くのが嫌なら歩いていくしかないのです。今回、それが再びAI音声合成で起きました。 筆者はAIアートグランプリを受賞したおかげでいろいろなところから取材を受けたり自分でも解説記事を書いたりしていますが、その中で、Diffusion（拡散）モデルを使ったDiff-SVCというAI声質変換によってリアルな元音声を再現できると説明してきました。ですが、これからは「実は今は新しいAI技術を使っているんですよ」と付け加えなければいけません。 妻の歌声を合成するのに使っていたDiff-SVCから別の新しい技術に乗り換えてしまったのです。 Diff-SVCが出た後に、So-VITS-SVC（SoftV
WSLでMagentaを使ったピアノ耳コピの自動化 - Qiita
はじめに 耳コピがしたい！ でも 絶対音感なんてない！ そんなあなたに... Googleさんがピアノ演奏の音源(.wav)をMIDIファイル(.mid)に変換してくれるツールを用意してくれています。実際に使ってみて精度の高さに驚いたので紹介します。 Magentaって？ 作曲、音楽の解析、音楽制作の支援などを目的とした、Googleの機械学習プロジェクト Onsets and Frames モデル Magentaには複数のモデルが含まれている。 その中でもピアノ演奏の音源を解析し、MIDIに変換するモデル。 環境 MagentaのOnsets and Frames モデルはローカルで動かす他、Web版、Colab版が用意されています。以下にリンクを貼っておきます。 Web版 Colab版 自分の環境ではWeb版、Colab版が上手くいかなかったのでローカルで試すことにしました。 Micr
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。 そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本
サンプリングレートはなぜ44,100Hzなのか | PHILE WEBコミュニティ
今回は暑さしのぎの軽い読み物です。 CDスペック（16bit／44.1kHz）の問題点については、先日来の私の日記をご参照ください。 ひとつは、弱音部分の表現力が極端に悪化して「自然」な音が再現できないという問題（分解能、量子化ビット数）、もうひとつは、20kHzを超える高周波数ないし超高周波数が取り込めないという問題（サンプリングレート）ですね。 それでは、なぜ、そういう規格になったのか？ これについては、商品としてオーディオCDが登場した1982年（昭和57年）という時代背景や開発当時の技術も考慮に入れる必要があります。 そこで、当時、ソニー社で開発責任の職にあったと自称する人や、その周囲の人達の回顧録などを読みましたが、CDがいまだに現役商品であることから、退職後も「言論の自由」は満喫できないようで、いい加減にお茶を濁しているのが実情です。たとえば、可聴帯域の上限が20kkHzだから
「音源分離」の最新手法を解説した、中級者以上向けの実践的な技術書『Pythonで学ぶ音源分離』を8月24日に発売
インプレスグループでIT関連メディア事業を展開する株式会社インプレス（本社：東京都千代田区、代表取締役社長：小川 亨）は、「音源分離」技術の基礎から実装までを解説した書籍『Pythonで学ぶ音源分離 機械学習実践シリーズ』を2020年8月24日（月）に発売いたします。 ■身近なものにも活用される技術「音源分離」の基礎と実装を解説する一冊 近年、AIスピーカをはじめとした、人が話した音声を理解する音声認識システムがさまざまな場面で使われています。一般的に音声認識システムは、1人の声を聞き取ることを想定しており、聞きたい声以外の音が入ってきたときには、聞きたい声を正確に聞き取ることが難しくなります。「音源分離」とはこのようにさまざまな音が混ざった中から、欲しい音だけを抽出する技術です。本書では、音源分離の基礎から、Pythonを用いた実装までを詳しく解説しています。 ■音源分離に必要不可欠な数
Dynamic time warping - Wikipedia
Dynamic time warping between two piecewise linear functions. The dotted line illustrates the time-warp relation. Notice that several points in the lower function are mapped to one point in the upper function, and vice versa. Two repetitions of a walking sequence recorded using a motion-capture system. While there are differences in walking speed between repetitions, the spatial paths of limbs rema
美少女声への変換と合成
Introduction今までは主に可愛い女の子の画像(or 動画)を生成することに取り組んできましたが、画面上に映せるようになったらやはり可愛い声で話して欲しいものです。そこで今回は、別の人の声が与えられた時に美少女声へと変換するための声質変換と、テキストが与えられた時に美少女声を生成するText-to-Speech(TTS)を行なった試行結果について述べようと思います。 Voice ConversionIntroduction声質変換のデータには2種類あります。それが、パラレルデータとノンパラレルデータです。以下にそれぞれの特徴を述べていきます。 パラレルデータを用いた声質変換 同じセリフを発する2種類の声を学習データとして用います。発話内容が同じのため、言語特徴を気にせず音響特徴量の変換を行うことが可能です。しかし、話速の違い等によって言葉を発するタイミングがずれてしまうのでDyna
AutoML Vision と RasPi でリビングのいろいろな音を認識する
Cloud AutoML Vision は、画像とその分類ラベルをクラウドにアップロードするだけで画像認識の機械学習モデルを作成できるサービス。ラーメン二郎のどんぶり画像から 95% 精度で店舗を当てたりできる高性能だけど、機械学習のディープな知識や経験がなくても使える。 で、これでまず試してみたかったのが、音の認識だ。画像じゃなくて音。 2 年くらい前に、画像認識用の CNN を使って音声を認識する論文が Microsoft Research から出てて、へぇーっと思った。スペクトログラムっていう、よく犯罪捜査で出てくる声紋のアレを使って音を画像にして、その模様から音の特徴を認識する。 CNN で音声認識（Microsoft Research）なるほどなあ。。つまり、世の中のどんなデータでも、捉えたい特徴を画像の特徴として表せれば、画像認識で識別できる……ってことだ。 そして、AutoM
Google Research、複数音から特定の発話者だけの声を聞こえるようにするDeep learningを用いた視聴覚音声分離モデル発表
Google Research、複数音から特定の発話者だけの声を聞こえるようにするDeep learningを用いた視聴覚音声分離モデル発表 2018-04-12 Google Researchは、Deep learningを用いて、複数の音から1人の音声だけを抜き出す視聴覚音声分離モデル「Looking to Listen at the Cocktail Party」を発表しました。 論文：Looking to Listen at the Cocktail Party: A Speaker-Independent Audio-Visual Model for Speech Separation 著者：Ariel Ephrat, Inbar Mosseri, Oran Lang, Tali Dekel, Kevin Wilson, Avinatan Hassidim, William T.
Pythonを使った音楽解析をやってみる - のんびりしているエンジニアの日記
皆さんこんにちは お元気ですか。私は元気です。 本記事はPythonのアドベントカレンダー第6日です。 qiita.com 本日はPythonを使った音楽解析に挑戦します。 偶然にも音楽解析に便利なライブラリを発見したので、試してみたいと思います！ 音楽解析 librosa librosaとは 音楽を解析してみた。 音楽を取得する。 データ読み込み 音楽情報を取得する。 時間の計算 ピッチやテンポの計算 スペクトラム分析をやってみる。 音楽特徴量を取得する。 音楽を加工する。 時間の引き伸ばし、短縮 要素の抽出 打楽器要素の抽出 ハーモニック要素の抽出 音楽の保存 参考文献 音楽解析 本日の挑戦は特徴量抽出と一部の音楽の加工です。 基本的な音楽ファイルの読み込みや特徴量抽出、音楽の加工分離です。 音楽解析に便利なライブラリ、librosaを紹介します。 librosa librosaとは
博士論文 背景雑音と話者の違いに頑健な 音声認識 2013年1月28日 指導教員 峯松 信明 教授 電気系工学専攻 37-107091 鈴木 雅之 あらまし 音声認識は様々なシステムの要素技術として利用されて
博士論文 背景雑音と話者の違いに頑健な 音声認識 2013年1月28日 指導教員 峯松 信明 教授 電気系工学専攻 37-107091 鈴木 雅之 あらまし 音声認識は様々なシステムの要素技術として利用されている．例えば，カーナビシステ ム，スマートフォンの音声対話システム，企業のコールセンタにおける電話自動応対シス テムなど，その応用範囲は多岐に渡る．音声認識の精度を高めることは，これらのシステ ムのユーザ満足度を向上させることに直結する．そのため，音声認識の精度を向上させる ために研究を進めていくことが重要である． 音声認識の精度は，様々な要因によって低下してしまうことが知られている．例えば背 景雑音が音声に重畳してしまった場合，何も対処を行わないと音声認識精度は大幅に低下 してしまう．他にも，話者の違い，マイクとの距離，部屋の残響，話している内容と，様々 な要因によって音声認識精度
LPC 係数によるフォルマント推定 - MATLAB & Simulink - MathWorks 日本
この例では、LPC (線形予測符号化) を使用して母音フォルマント周波数を推定する方法を示します。フォルマント周波数は予測多項式の根を求めることによって得られます。 この例では、音声サンプル mtlb.mat を使用します。これは Signal Processing Toolbox™ に含まれています。音声はローパス フィルター処理されています。サンプリング周波数が低いため、この音声サンプルはこの例には最適ではありません。サンプリング周波数が低いと、データに近似可能な自己回帰モデルの次数が限られます。この制限はありますが、この例は LPC 係数を使用して母音フォルマントを決定する手法について説明しています。 音声信号を読み込みます。録音は、女性が「MATLAB®」と発声しているものです。サンプリング周波数は 7,418 Hz です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wasserstein逆FM音源
| docomo Developer support | NTTドコモ
Web Audio fft - Google 検索
701 多 ch 波形同期法を用いた ANC の基礎研究 A basic study on ANC with Multi-channel Wave Synthesis Method ○学 前田 将太郎（鳥取大院） 正 西村 正治（鳥取大) 茂木 建二（カ) ローラン） Shotaro MAEDA, Tott
Google、AI研究の成果を体験できるWebサイト「A.I. Experiments」公開
http://www.ieice-hbkb.org/files/01/01gun_09hen_03m.pdf
Bird Sounds | Free Sound Effects | Sound Clips | Sound Bites
GitHub - ppwwyyxx/speaker-recognition: A Speaker Recognition System
