Rinna-3.6B を llama.cpp で CPU 動作のメモ

ふえぇ... Rinna-3.6B-Instruction-PPO しゅごいね... Google Colab で Rinna-3.6B を試す npaka 先生(LLM 神)ありがとうございます. llama.cpp で CPU やスマホで動かしたい...! 量子化なし(素の fp16 weight)だと CPU mem 10 GB くらいで動きました. 情報 rinna 3Bをcppで動かす ありがとうございます! 環境 Ryzen9 3900 + WSL 128 GB CPU mem 32 GB くらいあれば十分と思われます. python 3.10 + pytorch 2.0.1(CPU 版でよい) 再現コード redpajama.cpp https://github.com/togethercomputer/redpajama.cpp だとちょっと古かったので, llama.cp

[kazuph1986]

この方の記事とリポジトリを使ってmacosだけでrinna-略-ppoを試してみた。4bit化もできた。素晴らしいけどChatとして使うとめっちゃリピートするみたいでその辺はわかっていない。

[stealthinu]

これだとGPU積んでない安いインスタンスでも動かせるからゲームのNPC用途で気軽に使えそう。というかもはやクライアントサイド内で十分動かせてしまうか。