鼻の効果を含む音源 鼻音感を出すため、声道の振動の波形に可変ローパスフィルターを掛けた音源を使う。 複雑な鼻の効果を単純化して、音源にローパスフィルターを掛けることで代用する。 下図は生成の概念図である。 鼻音感を出すための可変ローパスフィルターは、声が鼻から口に切り替わるところで、カットオフ周波数を変化させる。 はじめの鼻から息が出ているときは、ローパスフィルターのカットオフ周波数はかなり低くし、出力の波形はsin波に近くなる。 声が口からに切り替わった後でも、鼻の効果を残すため、カットオフ周波数が高めのローパスフィルターを掛けいる。 下図は、声道の振動の波形（入力）にフィルターを掛けた波形（出力）と、ローパスフィルターのカットオフ周波数の時間変化である。鼻の効果を含む音源として使う。 「な」音の作成 上記の音源を、時間経過とともに管の断面積と長さが変化する、２つの管（チューブ）をつなぎ

２つの管（チューブ）をつなぎ合わせた模型と、乱流音を代用するノイズ音源を使って 「さ」の音の生成を実験してみた。 音としては、先行するノイズ音とそれに続く母音の音から合成される。 先行するノイズは、「か」の場合は口内を舌で狭め強い圧力を一瞬かける短期的なものであるのに対して、「さ」は歯先に息を吹きかけて発生させる乱流音のため 高い周波数になり、状態が持続的である。 後続の母音部分の作成 時間経過とともに管の断面積と長さが変化する、２つの管（チューブ）をつなぎ合わせた模型を使って母音の部分を生成する。 口を閉じた状態(start)から、「あ」の発生の状態（target)まで、時間変化させる。 先行するノイズ部分の作成 乱流音を代用するノイズには、息の吹きかけによる息の速度の上昇の影響と、乱流が発生する場所の周囲との共鳴効果が考えられる。 （子音の発生を参照のこと） まず、息の速度の加速上昇に

先回の乱流音を代用するノイズ音源を使って摩擦音の「さ」音の生成に続き、破裂音の「が」「か」音の生成の実験をおこなってみた。 破裂音は、爆風（破裂）とそれに続く乱流音源と、声帯を振動した音源による共鳴音を経由して母音の「あ」の部分から構成する。 爆風（破裂）の作成 爆風現象によって生成される波の周波数特性は、1/fの特性をもつといわれている。 1/fの特性をそのまま使うと、低域でも振幅が小さくなりすぎて共鳴効果があらわられにくくなるため、 DCからある周波数まではフラットな特性でそれ以降は1/f特性に近いものを、 ヒルベルト変換を使って最小位相特性をもつインパルス応答の波形として生成した。 下図は、生成した波形と周波数特性である。音(wav)になる。 乱流音の作成 乱流音を代用するノイズを、先回の摩擦音のときと同様に、パーリンノイズの手法を応用して作成した。 摩擦音との違いは、低くめの周波数

２つの管（チューブ）をつなぎ合わせた模型による音声波形の生成のページでは、２つの管（チューブ）のつなぎ合わせた模型で生成できるのは　「あ」と「え」と 「う」の３つの音に限られると書いた。そこで、３つの管（チューブ）をつなぎ合わせれば、「お」の音を生成できるかどうかの実験をしてみた。 「お」の音は、「あ」の音を起点として、それに「う」の効果をつなぎ合わせたものである（仮説）。 下図はつなぎ合わせを説明するためのもので、管の断面積をイメージしたものである。３つの部分（管）からなっている（１番上に絵）。 左と中央の青色に塗られた２つの管は「あ」の構造をしており、（２番目の絵） 更に、中央と右の青色に塗られた２つの管は「う」の構造をしている。（１番下の絵） 参考に、ここで生成した「お」の音（発音記号の/O/）のwavサンプルをリンクしておこう。 また、管による声道モデルを計算するpythonプログ

人間の声の発生の過程を単純化した模型をつかって、音声の波形の生成を理解してみよう。 声の発生は、まず、のどの下にある声門で声帯が振動することで、下図の左側の青色のような形の波形が発生する。そして、声帯から喉そして口の中から唇まで の間を下図の真中のように２つの管（チューブ）がつなぎ合わさった物で置き換えてみる。先ほどの青色の波形がこの２つの管に入力されるとある特定の音の組 み合わせで共鳴しよく響く。そして、口から出てくる空気の流れ、つまり音声を、音圧を検出するマイクで音を拾うと、下図の右側の赤色のような波形になる。 実際の声門の波形はもっと複雑だし、声帯から喉そして口の中から唇までは途中曲がっていて歯も舌も鼻もあるのに、たった２つの管（チューブ）のつなぎ合わ せで置き換えるのはちょっと 飛躍しすぎている感があるが、こんな簡単化した模型でも、何となく「あ」とか「え」とか聞こえるのである。「あ

WORLDについて WORLDは，Vocoderのアイディアを発展させた音声分析変換合成システムです． 発達した計算機能力を駆使し，高品質で柔軟な音声分析・変換・合成の実時間処理を目的としています． UTAUの合成エンジン，また音声創作ソフトウェアCeVIOの音声分析の一部にもWORLDが使われています． 新着情報

WaveNet - A Generative Model for Raw Audio [arXiv:1609.03499] 概要 WaveNet: A Generative Model for Raw Audio を読んだ Chainer 1.12で実装した はじめに Google DeepMindが音声生成の新たな手法を開発し発表しましたが、これが従来手法を大きく超える高い品質の音声を生成できると話題になりました。 発表から数日でGitHubには様々な実装が公開されましたが、私もChainerで実装してみました。（→GitHub) このWaveNetを実装するにあたり、 実装の詳細が論文に書いていない 1秒の音声を生成するのに90分かかる 学習コストが大きい といった点に注意が必要です。 特に音声生成はリアルタイムで行えるような速度が出ません。 DeepMindの中の人のツイートによると