エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Google Colab + trl で Falcon-7B のQLoRAファインチューニングを試す|npaka
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Google Colab + trl で Falcon-7B のQLoRAファインチューニングを試す|npaka
「Google Colab」で「Falcon-7B」のQLoRAファインチューニングを試したのでまとめました。 【注意】「Go... 「Google Colab」で「Falcon-7B」のQLoRAファインチューニングを試したのでまとめました。 【注意】「Google Colab Pro/Pro+」で使えるA100で動作確認してます。 1. trl v0.4.2「QLoRA」(bitsandbytesによる4bit量子化)を使用した大規模モデルの学習、新クラス「RewardTrainer」「SFTTrainer」を含むTRLの新バージョンで、「RLHF」をエンドツーエンドで簡単に実行可能になりました。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアアクセラレータ」で「GPU」で「A100」を選択。 (2) パッケージのインストール。 「SFTTrainer」を利用するため「accelerate」「peft」「transformers」「d