はてなブックマーク

whisper.cppの進化が止まらない OpenAIのWhisperオープンソース公開は文字起こし界隈に衝撃を与えました whisper.cppは本家Whisperのリリース後早い段階で公開された派生物で、非GPU環境においてそれなりのメモリ消費量・速度で動作する特徴がありましたが、そのリリースから1年のうちに実はwhisper.cppはかなりのスピードで進化しており当時とはもはや別物になっています とくにApple Silicon Mac / macOS上での動作速度がこの1年間で大きく向上しました 現代のコンピューター上でTransformer系のような大規模計算をする場合、CPUによる汎用演算にとどまらず搭載された各種アクセラレータをいかに使い倒せるかが重要で、whisper.cppはその名前からCPU側へ偏った実装という印象を（なぜか）受けますが ArmのNEONやIntelのA