ブックマーク / zenn.dev/shu223 (1)

  • whisper.cppのCore ML版をM1 MacBook Proで動かす

    OpenAI音声認識モデルであるWhisperの高速推論版であるwhisper.cppが、いつのまにか [1] Core ML対応していた。 Core ML対応したということは、macOS/iOSデバイス(Mac, iPhone, etc...)に搭載されているNeural Engine、GPUを利用して推論処理を行うようになった、ということを意味する。[2] さっそくREADMEの手順をなぞりつつ手元のMBPで動かしてみたメモ。 なお、実行環境は以下の通り: MacBook Pro M1 Max 64GB macOS Ventura 13.3.1 Core MLモデルの生成手順 依存パッケージのインストール whisper.cppのCore MLモデルの作成に必要なパッケージをインストールする。

    whisper.cppのCore ML版をM1 MacBook Proで動かす
    tmatsuu
    tmatsuu 2023/05/05
    自分もM1 MacでCoreML対応版に差し替えてlargeモデルを食わせようとしたらCore MLモデルの生成が全然終わらなかったでござる
  • 1