whisper.cppのCore ML版をM1 MacBook Proで動かす
OpenAIの音声認識モデルであるWhisperの高速推論版であるwhisper.cppが、いつのまにか [1] Core ML対応していた。 Core ML対応したということは、macOS/iOSデバイス（Mac, iPhone, etc...）に搭載されているNeural Engine、GPUを利用して推論処理を行うようになった、ということを意味する。[2] さっそくREADMEの手順をなぞりつつ手元のMBPで動かしてみたメモ。 なお、実行環境は以下の通り： MacBook Pro M1 Max 64GB macOS Ventura 13.3.1 Core MLモデルの生成手順 依存パッケージのインストール whisper.cppのCore MLモデルの作成に必要なパッケージをインストールする。
LLMをアプリ開発に統合するSDK「Semantic Kernel」がPythonに対応、TypeScriptへの対応も検討中
米Microsoftは、一般的なプログラミング言語から大規模言語モデル（Large Language Models）の機能を扱いやすくする軽量のSDK（Software Development Kit）「Semantic Kernel」のPython対応版を4月17日（現地時間）に公開した。Semantic KernelはMITライセンスで公開しているオープンソース・ソフトウェア。 MicrosoftがSemantic Kernelを初めて公開したのは2023年3月17日（現地時間）。そのときはC#に対応し、Python対応版は「実験的」という扱いで公開していた。今回は、Python対応版を正式に公開した。 Semantic Kernelを利用すると、開発者は自身が開発するアプリケーションに大規模言語モデルが持つ機能を組み込みやすくなる。Semantic Kernelを利用したソフトウェア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
