Unity Sentisを使ってonnxでデバイスのみで動くSTTを実装する - yousanのメモ

初めに Demo 開発環境 ライブラリの準備 モデルの設定 スクリプトと音声の設定 実行 初めに 以下のモデルを触ってみます huggingface.co Demo 以下のように動作します！動画内の音声は、huggingfaceに含まれているサンプル音声になります www.youtube.com また以下のリポジトリがデモの動作環境になります github.com 開発環境 Unity 2023.3.0b2 Unity Sentis 1.4.0-pre.3 ライブラリの準備 まずは、Unityを立ち上げて必要なライブラリを入れます manifest.jsonに以下を追加します "com.unity.sentis": "1.4.0-pre.3", モデルの設定 以下で使用するモデル等をダウンロードします。今回は unity/sentis-whisper-tinyを使用しています git lf