"RWKV_CUDA_ON"を1に設定してRWKVを高速化する - Qiita

ローカル環境でも高速で動作するLLMとして話題のRWKVですが、ドキュメントを見ていると環境変数の"RWKV_CUDA_ON"を1に設定することでより高速で動くということなので試してみました。 設定を変更するときに１箇所エラーで躓いたところがあったのでそちらも記録しておきます。 RWKVとは RWKVとはTransformerレベルの性能を持つRNNです。他のLLMと同様に高性能でありつつ推論が高速でVRAMを節約しているのが特徴です。 RWKVをチャットで使えるようにしたものとしてChatRWKVがあります。 また、RWKVをAlpacaデータセットなどを使用してファインチューニングしたものとしてRavenがあります。 ChatRWKVの使い方は次の記事で分かりやすく解説されています。 またRWKVのファインチューニングの方法については以下の記事で解説されています。 RWKV_CUDA_

[prjpn]

Alpacaでfine tuningすると商用利用出来ないから他のLLMがcppでCPUでも何とか動くようになってる今、RWKVの良いとこ8割位無くなる。