「Google Colab」で「Alpacaデータセット」による「RWKV」のファインチューニングを試したのでまとめました。 前回 2. ChatRWKVのプロンプトの確認「ChatRWKV」で、モデルに入力されるプロンプトを確認します。 以下のように、print()を追加しました。 print("--[prompt]--\n", new, "----") out = run_rnn(pipeline.encode(new))「+i 富士山の高さは?」と入力した時の時のプロンプトは、次のとおりでした。 これは、Alpacaモデルで使われていた学習データの書式になります。 (#の数は3個から1個に減ってる) 「+i」がない場合は、次のようなプロンプトでした。 3. Alpacaの学習データの書式「Alpaca」の学習データの書式は、次のとおりです。 ・入力がInstructionとInput