RWKVをローカルPCで動かす（pyenv/Docker）

OSはLinuxです。WindowsのWSL2で動かしている人もいるので、多分動くと思います。Linux/Windows(WSL2)のセットアップに関しては、以下記事参照ください。 CPUのみでも動かせるようですが、メモリが大量にいります。メインメモリが少なければ、とりあえずキャッシュ領域をアホほど（100GBとか）増やしておけば動くようです。足りないと途中でクラッシュします。 メモリが不足気味でしたら、以下記事参考に最初に設定しておいてください。 モデルダウンロード モデルをダウンロードします。好きなものをダウンロードしてください。初心者は、最初は小さいものを試して自信をつける（？）のがよいかもしれません。 14B バカでかモデル 7B デカいモデル 7B alpacaでファインチューニングされているのでちょっと賢い 3B 小さめモデル pyenv 事前準備 pyenvを使う方法です。ま

[kazuph1986]

これ見て3060(12G)で7b動きました！ありがとうございます（14bは試してない）。

[misshiki]

“自宅で動くLLM(Large Language Model)。今回はRWKVなるものを動かしてみます。 LLMで当たり前に使われるTransformerでなくRNNのみを使っているようです。”

[knok]

あー、素のRNNだからLoRAみたいなftはできないのか

[kenzy_n]

ご自宅にRWKVを迎える方法