「Google Colab」での「Llama 3」のファインチューニングを試したので、まとめました。 【注意】Google Colab Pro/Pro+のA100で動作確認しています。 1. Llama 3「Llama 3」は、Metaが開発したオープンモデルです。 2. 学習Colabでの学習手順は、次のとおりです。 (1) Colabのノートブックを開き、メニュー「編集 → ノートブックの設定」で「GPU」の「A100」を選択。 (2) パッケージのインストール。 # パッケージのインストール !pip install -U transformers accelerate bitsandbytes !pip install trl peft wandb !git clone https://github.com/huggingface/trl %cd trl(3) 環境変数の準備。 左
![Google Colab で Llama 3 のファインチューニングを試す |npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/a3aa43758facbfb03feb67398aafc2fe26034384/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F137974103%2Frectangle_large_type_2_6cf87d6b097a52f213fee75f128b93bc.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)