音声認識AIのWhisperをUnreal Engineでリアルタイムに動かすためにやったこと

「Unreal Engine (UE) Advent Calendar 2022 その3」23日目の記事です。 はじめに OpenAIの音声認識AI「Whisper」がすごいらしい。これをUnreal Engineでリアルタイムに動かせるようにしたら応用範囲が広がっておもしろいんじゃないかと思いました。 （「異議あり！」って実際に声に出させたいよね） （NLPアドベンチャーを音声入力で、みたいな夢も広がる） しかし、いざやってみたらいろいろな課題にぶつかりました。この記事は、それらをどう解決したかの記録です。 目次 目標設定：C++とONNX Runtimeで実装する Whisperの処理の全体感 課題と対応 課題1：マイク入力と前処理をC++で実装する 課題2：Whisperの機械学習モデルをONNXにエクスポートする 課題3：ONNXモデルをtransformer＆FP16向けに最適化

[stealthinu]

WisperをUEで動かすためにONNXに変換したりC++から呼び出せるようにする内容。特にONNXのfp16化が参考になる。がfp16化ってツールでお手軽にって話じゃなかった。なかなか大変。

[napsucks]

スト2における音声入力を実現したいにしえの"SNEShout"が現代によみがえるのか