はてなブックマーク

この記事の内容はどこかに投稿する予定でしたが、この記事ほぼ同じアイデアを持つ論文が先日arXivに2本も立て続けに発表されたため（[1, 2]、ともにINTERSPEECH2025採択）、供養のために公開しています。 この記事の最後でそれらの論文も軽く紹介します。 はじめに Parakeet株式会社リサーチャーの榎本 (X: @henomoto1025)です。純粋数学で博士号を取りポスドクをしていましたが、音声の分野に興味が移り、現在は音声界隈の研究のキャッチアップをしながら研究開発をしています。 今回は、弊社で開発している日本語音声合成エンジンParattsの質を向上させるために行った社内での取り組みについて紹介します。 短くまとめ 日本語TTSの学習データセットの中のあるテキストに「明日」という単語が入っていても、それが音声ファイルでは「アス」「アシタ」「ミョウニチ」のどの読みか分から

はじめに こんにちは、Parakeet株式会社リサーチャーの今井（Ｘ: Nuts）です。 2025年5月29日に、Resemble AIからオープンソースText-to-Speech（TTS）モデル、Chatterboxが公開されました。 state-of-the-art TTS model that just beat ElevenLabs in blind evaluations ブラインド評価でElevenLabsに勝利したSoTA TTSモデル 本記事でわかること 本記事では、以下の流れでChatterboxについて掘り下げていきたいと思います。 Chatterboxの何がスゴいのか ― READMEから差別化ポイントを読み解く インストールから推論まで ― 最速5分で動かす手順 技術詳細を深掘り ― ベース技術と独自の改良点を解説 実際の音をチェック ― 生成サンプルをレビュー

Parakeet株式会社でResearcherをしている金子(nadare)です。CPUで動く軽量AIボイスチェンジャーParavoの研究開発をしております。 本記事ではParavoのアピールポイントである0.06秒の遅延へのこだわりとそれを実現するための技術について解説したいと思います。 ボイスチェンジャーの歴史 従来型ボイスチェンジャー 従来のボイスチェンジャーは主にピッチ(声の高低)やフォルマント(声道の性質)を変え、それに様々なエフェクトをかけることで音声の変換を行っていました。これの実現にはハードウェアを使う方法、ソフトウェアを使う方法など様々ありますが、声に関する専門知識と入力する声を人力で調整するテクニックが必要でした。 疑似リアルタイムAIボイスチェンジャー 近年ではAI技術の発達により、ピッチやフォルマントを信号処理的に変えるのではなく、ディープラーニングの力によって特定

Parakeet株式会社でResearcherをしている金子(nadare)です。CPUで動く軽量AIボイスチェンジャーParavoにおいて、リバーブやイコライザといったエフェクターをかける機能をRustで実装しました。本記事ではRustで実装した理由や用いたライブラリについて説明します。 リバーブについて リバーブは音に残響音や反射音を加える空間的エフェクトで、通常の音をホールで演奏した音や狭い空間で鳴らした音のように加工します。リバーブの実装にはハードウェア・ソフトウェア等様々な手法がありますが、今回は畳み込み演算を用いたリバーブの実装を行いました。 畳み込み演算で実装するリバーブには、Room Impulse Response(RIR)という音の信号を用います。これは再現したい空間で拍手をしたときに得られるような音で、様々な環境で収録したRIRを集めたデータセットや、pyroomac

こんにちは。だだっこぱんだです。 今回はTauriを使ってiOSアプリを作っていきます。 読むのがおすすめな人 フロントエンドをやってる人 Tauriについてあまり知らない人 iOSやAndroidのアプリを作りたいけどFlutterやSwift, Javaなどを覚えるのは大変だなと思っている人 Tauriとは 超ざっくり説明すると、Rustで書かれたデスクトップアプリを作るためのフレームワークです。 ElectronのようにHTML, CSS, JavaScriptで書くことができます。 Rustだからと言って身構える必要はなく、実際のところある程度のアプリであればほとんどJavaScriptで完結します。 v2のalpha版ではiOS, Androidにも対応しています。 ググれば色々出てくるので調べてみてください。 環境 これらの環境を前提として、進めていきます。 MacOS Ven