Rinna-3.6B を llama.cpp で CPU 動作のメモふえぇ... Rinna-3.6B-Instruction-PPO しゅごいね... Google Colab で Rinna-3.6B を試す npaka 先生(LLM 神)ありがとうございます. llama.cpp で CPU やスマホで動かしたい...! 量子化なし(素の fp16 weight)だと CPU mem 10 GB くらいで動きました. 情報 rinna 3Bをcppで動かす ありがとうございます! 環境 Ryzen9 3900 + WSL 128 GB CPU mem 32 GB くらいあれば十分と思われます. python 3.10 + pytorch 2.0.1(CPU 版でよい) 再現コード redpajama.cpp https://github.com/togethercomputer/redpajama.cpp だとちょっと古かったので, llama.cp
