【CPU上の実行に対応】OpenAI Whisperの高性能推論ver Whisper.cppを試してみた - Qiitaまえがき OpenAI Whisperの高性能推論verが話題となっていたので試してみました。 C/C++で実装され、CPUの実行に最適化されたものとなっているようです。 特徴としては以下が挙げられていました。 依存性のないプレーンなC/C++による実装 x86 アーキテクチャの AVX 組み込み関数のサポート POWER アーキテクチャの VSX 組み込み関数のサポート F16 / F32 の混合精度 低メモリ使用量 CPU上で実行 Windows / Linux / Mac OS / iOS / Android / WebAssembly / Raspberry Piのプラットフォームに対応 導入 ソースコードをローカルへクローンする $ bash ./models/download-ggml-model.sh <Model> Downloading ggml model small
