タグ

ブックマーク / zenn.dev/piment (1)

  • whisper、whisper.cpp、faster-whisperの比較

    現状のwhisperwhisper.cpp、faster-whiperを比較してみたいと思います。 openai/whisperに、2022年12月にlarge-v2モデルが追加されたり、色々バージョンアップしていたりと公開からいろいろと進化しているようです。 CPU向けにC/C++で書かれたバージョンです。Core ML supportだそうですので、Mac向け感が強いです。 CTranslate2でWhisperモデルの書き直して、オリジナルと同等の精度で4倍速く、メモリ使用量も少ないそうです。 以降、すべてGoogle Colabで実行しています。 サンプルは、アナウンスの音声(WAV)の場合(48秒)を試しました。 結果 faster-whisperGPUは噂通り爆速でした。 whisperCPUが速いです。GPUでも初期に比べて85.62s → 23.9sに高速化してま

    whisper、whisper.cpp、faster-whisperの比較
    miguchi
    miguchi 2024/05/18
    “CTranslate2”
  • 1