リアルタイムAIアプリケーションにおけるONNXのチューニング

Parakeet株式会社でResearcherをしている金子(nadare)です。CPUのみで動作するリアルタイムAIボイスチェンジャーのParavoの研究開発をしております。 ParavoはAIモデルをPythonのPyTorchで学習した後、モデルをONNXというフォーマットに変換し、Rust上でONNX Runtimeを用いて動かしています。Paravoは音声変換時に最短で10msごとに推論しており、これの処理間隔や処理時間が短くなるほど、変換した音声をループバック再生する際の遅延が減ってしゃべりやすくなります。また、わずかにでも遅れると音声がプツっと途絶え体験を損ねてしまう問題もあります。そのため、Paravoではモデル推論が高速化するように様々なチューニングに力を入れています。 本記事ではONNXを用いたリアルタイムAIアプリケーションを作成する方向けに、ONNX作成時や推論時の

[sh19910711]

"PyTorchのonnx.exportではTorchScript-basedとTorchDynamo-basedの二種類 / dynamo=True / TorchDynamo-basedの方が新しく、最適化が進んでいる"

[stealthinu]

これすごく実用上ためになるtipsばっかだわ。最近全然ONNX化とかやってないんだけどまた音声系のことやるときあったら参考にしよう。