Google Colab で RWKV-LoRA のファインチューニングを試す ありがとうございます. こちらを参考にローカルでファインチューンします! 14B はいくつか設定試しましたが CUDA out-of-memory でダメでした. 環境 Ubuntu 20.04 x299 + 256 GB CPU mem 14B もしうまく学習回る場合では, 128 GB でも行けると思われる. 3090(24GB) x 2 セットアップ まず conda あたりで環境作って, 必要モジュールインストールしておきます.