まえがき OpenAI Whisperの高性能推論verが話題となっていたので試してみました。 C/C++で実装され、CPUの実行に最適化されたものとなっているようです。 特徴としては以下が挙げられていました。 依存性のないプレーンなC/C++による実装 x86 アーキテクチャの AVX 組み込み関数のサポート POWER アーキテクチャの VSX 組み込み関数のサポート F16 / F32 の混合精度 低メモリ使用量 CPU上で実行 Windows / Linux / Mac OS / iOS / Android / WebAssembly / Raspberry Piのプラットフォームに対応 導入 ソースコードをローカルへクローンする $ bash ./models/download-ggml-model.sh <Model> Downloading ggml model small
![【CPU上の実行に対応】OpenAI Whisperの高性能推論ver Whisper.cppを試してみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8db17cd10095136ef346b1f7a951d63a32f948d4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgwJTkwQ1BVJUU0JUI4JThBJUUzJTgxJUFFJUU1JUFFJTlGJUU4JUExJThDJUUzJTgxJUFCJUU1JUFGJUJFJUU1JUJGJTlDJUUzJTgwJTkxT3BlbkFJJTIwV2hpc3BlciVFMyU4MSVBRSVFOSVBQiU5OCVFNiU4MCVBNyVFOCU4MyVCRCVFNiU4RSVBOCVFOCVBQiU5NnZlciUyMFdoaXNwZXIuY3BwJUUzJTgyJTkyJUU4JUE5JUE2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0xMjc3M2I5NGI3ZTU1ZWE0MWZkMzZhYjNiMTEyZmExNQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwc3prdG15azM4ZiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDQyZTMxNWY5MzI0NmJjMzNjNTZhM2I3YTlmZTQyZjc%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Df302eb8ab92bf42b59eb360227656944)