エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Google Colab で RWKV のファインチューニングを試す|npaka
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google Colab で RWKV のファインチューニングを試す|npaka
1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速... 1. RWKV「RWKV」は、TransformerレベルのLLM性能を備えたRNNです。高性能、高速推論、VRAMの節約、高速学習、長い文脈長、自由な埋め込みを実現しています。 2. データセットの準備今回は、練習用に「あかねと〜くデータセット」の「dataset.txt」を使います。 テキスト終端をスペシャルトークン<|endoftext|> で記述しています。 どのようなスペシャルトークンがあるかは、RWKVのトークナイザーの設定ファイル「20B_tokenizer.json」で確認できます。 3. Colabでの学習Colabでの学習手順は、次のとおりです。 (1) 以下のの学習用のColabノートブックを開き、メニュー「ファイル→ドライブにコピーを保存」。 ・RWKV-4 PileのファインチューニングのためのColab (2) 「Setup」の4セルを実行。 4セル目の「pyt