GPT4v越えと噂のLLaVA 1.5をllamafileを使いローカルMacで試す｜AI情報発信@Shinano Matsumoto

前書きと言うわけで、ローカルLLMに挑戦します。今回は我らがモジラが作成したllamafileを使います。簡単に言うと、どんなOSにも超簡単に導入できるコマンド起動のLLMアプリケーションです。そしてメモリにモデルをコピーして動作するので高速です。 つまずいたところ基本的にREADMEの説明通りにやれば問題は起きませんでした。唯一起動時にMacのセキュリティに弾かれたくらいです。なので起動時はセキュリティを無効化しました。2回目以降は有効のままで問題ないです。 // セキュリティの無効化 sudo spctl --master-disable // セキュリティの有効化 sudo spctl --master-enableモデルは3つ簡単に使えるモデルは3つです。ごにょごにょやると他のLLMでも使えますが、正直無料のChatGPT3.5の方が精度が高いのでわざわざやる必要もないと思います。