Neural Audio Codec を用いた大規模配信文字起こしシステムの構築 - Mirrativ Tech Blog

こんにちは ハタ です。 最近Mirrativ上に構築した配信の文字起こしシステムを紹介したいなと思います 音声からの文字起こしは、各社SaaSでAPI提供されているものがあると思いますが、今回紹介するものはセルフホスト型(自前のGPUマシンを使う)になります 構築していく上で色々試行錯誤したのでそれが紹介できればなと思っています どんなものを作ったか 前提知識: 配信基盤 前提知識: Unix Domain Socket Live Recorder Archiver DS Filter VAD Filter NAC / Compress Transcriber NAC / Decompress Speach To Text コンテナイメージ まとめ We are hiring! どんなものを作ったか 今回作ったものは Mirrativで配信されるすべての音声を対象に文字起こしを行う シス

[havanap]

マニアックなことしてるなあ

[satoshi_hiraishi]

文字起こし

[to4iki]

“配信文字起こしシステム”

[atsushieno]

そうか、タイムラインとして他チャンネルと同期的に処理する必要がないから、フィルターで取り除いてもいいんだ

[Nunocky]

発声時の感情も管理したらいい感じで音声合成を使えそう

[misshiki]

“Neural Audio Codec (NAC) は、ニューラルネットワークを活用したコーデックで、低いビットレートでも音の劣化を抑えつつ保存することができる最近見かけるようになった形式です”

[udzura]

新作です！！！！！１