M1MacでOllamaを試したら爆速で驚いた

はじめに いつもNVIDIAが載っているWindowsで楽しくLLMを動かしたり生成AIライフを楽しんでいますが、今回はMacOSでOllamaを入れてLlama3を動かしてみました。 スペック： Apple M1 Pro(16 GB) 少し前だとCUDAのないMacでは推論は難しい感じだったと思いますが、今ではOllamaのおかげでMacでもLLMが動くと口コミを見かけるようになりました。 ずっと気になっていたのでついに私のM1 Macでも動くかどうかやってみました！ 結論、爆速で推論できていたのでとても驚きました。OSS開発に感謝です！ Ollamaとは OllamaとはローカルでLLMを動かすことができるアプリケーションです。 以下からダウンロードできます。 MacOSとLinuxで使うことができます。Windowsもプレビュー版があるみたいです。 #いざ推論 ダウロードができたらシ

[d0i]

職場の詳しい人は当初からM1みたいなアーキテクチャが推論に最適だと指摘してた。GPUはtransformerの推論には向いてないらしい

[agricola]

量子化済みのモデル使うからしょっぱいCPUとメモリでもそこそこ動くし、貧相なグラボも使ってくれるollamaさん。

[misshiki]

“MacOSでOllamaを入れてLlama3を動かしてみました。”

[puhu208n]

Appleの詐欺グラフで未だに誤解してる奴がちらほらまだ居るが、あれ中身別物のノート版との比較で、デスク版と比較したらUltraでも3060Tiに負けるからな。NVIDIAがノート・デスクのコア統一を黙って止めたのを悪用してる。

[zgmf-x20a]

先日のAI24時間ハッカソン大阪で我々のチームは、64GBのMakBookProでCommandR/ollama0.1.36を実行した。20GBのモデルなので64GBの主記憶は奏効した。

[dp212]

そういえば、大昔androidのLlamaってヤツでカスタマイズして遊んでたなぁ…と思い出したw