エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
llama2 70B chat をM1 max 32GB ramのMBP環境で動かす|JohnK.Happy
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
llama2 70B chat をM1 max 32GB ramのMBP環境で動かす|JohnK.Happy
タイトルの通り今回はllama2 70B chatのモデルをMBPで動かします 環境は下記のもので32GB RAMでM1 Maxチ... タイトルの通り今回はllama2 70B chatのモデルをMBPで動かします 環境は下記のもので32GB RAMでM1 Maxチップ MacBook Pro (16インチ, 2021) - 技術仕様 (日本) (apple.com) 前回のスクリプトをちょっと改良して70Bモデルを落としてpullしておきます# Clone llama.cpp git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp git pull # Build it LLAMA_METAL=1 make # Download model export MODEL=llama-2-70b-chat.ggmlv3.q2_K_M.bin wget "https://huggingface.co/TheBloke/Llama-2-70B-Chat-G