Google Colab + trl で SFT のQLoRAファインチューニングを試す｜npaka

「Google Colab」+「trl」で「SFT」のQLoRAファインチューニングを試したので、まとめました。 前回 1. trl の SFTTrainer「trl」の「SFTTrainer」で「SFT」(Supervised Fine-tuning) のQLoRAファインチューニングを行います。「trl」は「artidoro/qlora」と比べて設定が多くて大変ですが、SFT後の「DPO」や「RLHF」などの追加学習も可能です。 3. SFTの実行ColabでのSFTの実行手順は、次のとおりです。 (1) Googleドライブのマウント。 # Googleドライブのマウント from google.colab import drive drive.mount("/content/drive")(2) 作業フォルダへの移動。 # 作業フォルダへの移動 !mkdir -p "/conten