はじめに IoTLTがアドベントカレンダー振り返りやってるので急ぎ記事制作 Module LLMとは 2024年11月1日に発売されたM5Stackのモジュールです。 その正体は? ローカルで最小サイズのLLMが動くエッジAIアクセラレータ付きのLinuxボードです。 AXERA社という中国のチップメーカが開発したAX630CというSoCが載っていて、armコアとNPU(AI用アクセラレータ)が入ってます。 ストレージとして32GBのeMMCが載っているので、OSはeMMCから高速起動します。 RAMは4GB載っていて、OS用に1GB、NPU用に3GBが割り当てられています。ざっくりいうと、RAM1GBのラズパイに3GBのVRAMが搭載されたGPUが付いてる感じ。(めっちゃ強くなったラズパイZero2) 配布されてるOSイメージはubuntuの22.04LTSなので、Ubuntuで動くパッ

