音声対話のための音声合成・音声認識エンジン、speech.cppを作ってみた話

こんにちは！逆瀬川ちゃん (@gyakuse) です！ 今日は音声対話のために作った音声合成と音声認識のエンジン、speech.cppについてまとめていきたいと思います。 作ったもの speech.cppは、音声合成と音声認識のモデルをggmlの上で動かすC++のエンジンです。MacではMetal、WindowsとLinuxではVulkanでGPUを使い、GPUがなければCPUで動きます。 いま動かせるのは次のモデルです。どれも、元のモデルの重みをspeech.cpp用のGGUFのファイルに変換して、Hugging Faceに置いています。 音声合成モデル モデル 言語 speech.cpp用のGGUF Qwen3-TTS 10言語 0.6B / 1.7B Irodori-TTS 日本語 v4.1-Small-MF / v4.1-Small Qwen3-TTSは用意された9人の声から選べま

[misshiki]

音声合成・認識を統合したC++エンジンspeech.cppの開発記。Python・CUDA不要で3種類のOSに対応し、OpenAI互換APIも提供。音声を小分けに返して待ち時間を減らし、発話区間ごとの認識で書き起こし漏れを改善。

[atsushieno]

mackron/miniaudioは関係無いやつだ

[iinalabkojocho]

コレ凄そうにゃ。アプリもいい感じにゃ

[nguyen-oi]

ggml移植からチャンクデコードによる超低遅延化まで技術レベルが高すぎて痺れる

[mcddx30]

https://x.com/gyakuse/status/2108392184634548376