はてなブックマーク - ローカルで RWKV-LoRA の日本語データセットでﾌｧｲﾝﾁｭｰﾝするメモ (3090x2 で 7B いけた. 14B はだめだった)
https://b.hatena.ne.jp/entry/s/zenn.dev/syoyo/articles/4ef48b859e9433
Google Colab で RWKV-LoRA のファインチューニングを試す ありがとうございます. こちらを参考にローカルでﾌｧｲﾝﾁｭｰﾝします! 14B はいくつか設定試しましたが CUDA out-of-memory でダメでした. 環境 Ubuntu 20.0...
-
imyutaro
https://b.hatena.ne.jp/imyutaro/20230425#bookmark-4735535199215472357
2023-04-25T11:46:49Z
read_later
-
knok
https://b.hatena.ne.jp/knok/20230425#bookmark-4735535199215472357
2023-04-25T00:24:13Z
-
unfini
https://b.hatena.ne.jp/unfini/20230425#bookmark-4735535199215472357
2023-04-24T23:40:41Z
AI
画像
機械学習
日本語
-
zinziroge
https://b.hatena.ne.jp/zinziroge/20230425#bookmark-4735535199215472357
2023-04-24T22:13:18Z
-
prjpn
https://b.hatena.ne.jp/prjpn/20230425#bookmark-4735535199215472357
そのうちW7900×2とかで頑張ってくれる猛者が出てくることを期待
2023-04-24T17:21:29Z
-
dhesusan4649
https://b.hatena.ne.jp/dhesusan4649/20230425#bookmark-4735535199215472357
2023-04-24T17:10:55Z
機械学習
CPU
-
Hiro_Matsuno
https://b.hatena.ne.jp/Hiro_Matsuno/20230424#bookmark-4735535199215472357
2023-04-24T14:50:46Z
-
Wacky
https://b.hatena.ne.jp/Wacky/20230424#bookmark-4735535199215472357
2023-04-24T13:03:54Z
-
Dycoon
https://b.hatena.ne.jp/Dycoon/20230424#bookmark-4735535199215472357
2023-04-24T12:53:34Z
CUDA
機械学習
AI
-
sato_susumu
https://b.hatena.ne.jp/sato_susumu/20230424#bookmark-4735535199215472357
2023-04-24T12:39:30Z
-
sakito0902
https://b.hatena.ne.jp/sakito0902/20230424#bookmark-4735535199215472357
2023-04-24T12:27:23Z
CPU
HotEntry
コンピュータ
-
proto_jp
https://b.hatena.ne.jp/proto_jp/20230424#bookmark-4735535199215472357
2023-04-24T03:21:10Z
memory
ai
gpu
-
s_ryuuki
https://b.hatena.ne.jp/s_ryuuki/20230424#bookmark-4735535199215472357
2023-04-23T23:44:35Z
機械学習
自然言語処理
Python