はじめてのローカル日本語LLM実行 onスマートフォン (モデル選び～量子化～実行まで) - Qiita

はじめに 今回はスマートフォンを使ってのローカルLLMの実行をやってみたいと思います。 ローカルLLMの実行と聞くと、LLMのソフトウェア実行環境の構築がめんどくさかったり、強力なGPUとVRAMが積まれてるPCじゃないとできないイメージがありますが、軽量なモデルを選定すればスマートフォンでも十分に実行する事ができます。 ただしスマートフォンでやるにしても、比較的新しめの端末でないと厳しいと思います。 (A16以上、Snd8genX以上、TensorGx以上、RAM 8GB以上) 実行環境についてもストア(AppStore/GooglePlay)で公開されてるアプリをインストールするだけで用意でき、非常にお手頃です。 今回は、(1)アプリの導入、(2)モデルの選定～どれを選ぶ？量子化？フォーマット？～、(3)実行、(4)おまけ～手持ちのスマホでのパフォーマンス差分～、の順にまとめてみました