128GB搭載M4 Max MacBook ProでオープンLLM「Gemma 3」をローカル実行してみた話｜Terisuke

はじめに: M4 Max MacBook ProでLLMを動かすというロマンつい先日、128GBメモリ・8TBストレージを積んだM4 Max搭載のMacBook Proを手に入れた。 Apple整備済製品で購入して価格は92万円とかなり思い切った投資だったが、このマシンでどうしてもやりたかったことがある。 それはLLM（大規模言語モデル）をローカルでガチ運用することだ。 自分のPCだけでAIモデルが動き、ネット接続なしでも高度な文章生成や画像認識ができる——そんな未来を先取りしたくて、このスペックのマシンを選んだ。 幸い、Google DeepMindからは最新のオープンウェイトLLM「Gemma 3」が公開されたばかりだった 。Gemma 3はスマホやラップトップといったデバイス上で直接高速に動作するよう設計されたモデルで、サイズも1Bから最大27Bパラメータまで揃っている 。今回このG

[yau]

うちの32GBのMacbook Pro (M3 Pro)でもGemma3:27bならnum_ctx=8kの設定でそこそこの速度で応答が返ってくる。48GBぐらいあれば大丈夫じゃないですかね

[yorkfield]

ここまでしてINT8の27bしか動かせないの？と思ったけど、コンテキストウィンドウを128kとかなり大きくしてるからかな。コンテキスト小さくしてQ8よりサイズを小さくしたGGUF使えばもっと大規模パラメータも行けそう。

[misshiki]

“128GBメモリ・8TBストレージを積んだM4 Max搭載のMacBook Pro”

[ys0000]

コンテキストウィンドウをコンテキスト窓と書いてる人は独特過ぎる。何かの翻訳？しかし米国人が吾輩は猫であるを題材にはしないしなぁ。

[strawberryhunter]

ガチを標榜するなら、まずベストを尽くして512GBのやつをお買い上げいただきたかった。

[tach]

M4Macにメモリー128ギガ積むとローカルでAIがまともに動く。これは何年かすればパソコンのインターフェイスはAIに完全に置き換わってアプリの細かな操作方法の習得から解放される日が来るな。