ローカルで RWKV-LoRA の日本語データセットでﾌｧｲﾝﾁｭｰﾝするメモ (3090x2 で 7B いけた. 14B はだめだった)

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/syoyo

19users がブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

prjpn そのうちW7900×2とかで頑張ってくれる猛者が出てくることを期待

2023/04/25 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

ローカルで RWKV-LoRA の日本語データセットでﾌｧｲﾝﾁｭｰﾝするメモ (3090x2 で 7B いけた. 14B はだめだった)

Google Colab で RWKV-LoRA のファインチューニングを試すありがとうございます. こちらを参考にローカ... Google Colab で RWKV-LoRA のファインチューニングを試すありがとうございます. こちらを参考にローカルでﾌｧｲﾝﾁｭｰﾝします! 14B はいくつか設定試しましたが CUDA out-of-memory でダメでした. 環境 Ubuntu 20.04 x299 + 256 GB CPU mem 14B もしうまく学習回る場合では, 128 GB でも行けると思われる. 3090(24GB) x 2 セットアップまず conda あたりで環境作って, 必要モジュールインストールしておきます.

ブックマークしたユーザー

imyutaro2023/04/25
knok2023/04/25
unfini2023/04/25
zinziroge2023/04/25
prjpn2023/04/25
dhesusan46492023/04/25
Hiro_Matsuno2023/04/24
Wacky2023/04/24
Dycoon2023/04/24
sato_susumu2023/04/24
sakito09022023/04/24
proto_jp2023/04/24
s_ryuuki2023/04/24

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

いま人気の記事 - 企業メディア

企業メディアをもっと読む

設定を変更しましたx