AIアクセラレーター LLM8850での大容量LLMモデル(3B〜4B)の利用 - Qiita

はじめに LLM8850 は、M5Stack社から発売された、m.2インタフェースで接続できるAIアクセラレーターです。 AXERA社のAX8850を搭載しており、従来のM5Stack LLM Module (AX630C) と比較しても、RAMの容量が2倍の8GBになっていて、より大きいサイズのモデルが利用できることが期待されます。 クイックスタートで書かれているよりも大容量のLLMモデル(Qwen3-4B, Qwen2.5-3B-Instruct)の実行を試してみた結果を雑に書いておきます。 構成 Raspberry Pi 5 8GB と合わせて利用します。 m.2 HAT+ が必要です。 自分の場合は、ネットワーク越しにsshでRaspberry Piにアクセスしますが、画面とキーボードを繋いでターミナルで操作しても良いでしょう。 基本 こちらのクイックスタートが極めて親切なので、順