日本語TTS用の学習データの精度を上げる「ふりがなWhisper」を作った話

この記事の内容はどこかに投稿する予定でしたが、この記事ほぼ同じアイデアを持つ論文が先日arXivに2本も立て続けに発表されたため（[1, 2]、ともにINTERSPEECH2025採択）、供養のために公開しています。 この記事の最後でそれらの論文も軽く紹介します。 はじめに Parakeet株式会社リサーチャーの榎本 (X: @henomoto1025)です。純粋数学で博士号を取りポスドクをしていましたが、音声の分野に興味が移り、現在は音声界隈の研究のキャッチアップをしながら研究開発をしています。 今回は、弊社で開発している日本語音声合成エンジンParattsの質を向上させるために行った社内での取り組みについて紹介します。 短くまとめ 日本語TTSの学習データセットの中のあるテキストに「明日」という単語が入っていても、それが音声ファイルでは「アス」「アシタ」「ミョウニチ」のどの読みか分から

[tmatsuu]

わいわい

[misshiki]

“「明日」が音声ファイルではどの読みか分からず...解決のため、「音声」と「テキスト（漢字仮名交じり）」のペアを受け取り、そこから「音声で発話されているテキスト読み」を出力するモデル ふりがなWhisper を提案”

[yarumato]

“日本語音声合成エンジンParattsの質を向上させるために行った社内での取り組み”