Google Colab で SFTTrainer によるLLMのフルパラメータのファインチューニングを試す｜npaka

「Google Colab」で「SFTTrainer」によるLLMの (LoRAではなく) フルパラメータのファインチューニングを試したので、まとめました。 1. SFTTrainer「SFTTrainer」は、LLMを「教師ありファインチューニング」 (SFT : Supervised Fine Tuning) で学習するためのトレーナーです。LLMの学習フレームワーク「trl」で提供されているトレーナーの1つになります。 2. モデルとデータセット今回は、LLMとして「OpenCALM-small」、データセットとして「multilingual-sentiments」を使いました。 ・OpenCALM-small : 有名なLLMの中で日本語対応かつ軽量なモデル ・multilingual-sentiments : 感情分析用に、0:positive、1:neutral、2:negat

[Nyoho]

「「この映画は」の続きに、映画のポジティブ感想のみが出力されていることがわかります。」