rinnaとopen-calmをloraでJGLUEしてみた
はじめに ここ数日間に日本語で学習させたLLMがいくつかでましたが、定量的に性能評価したい！ということで日本語LLMベンチマークライブラリのJGLUEを回してみました。 ついでにloraに対応してなかったのでlora用のコードに修正。 環境 AWS Ec2 p4dn.24xlage Deep Learning AMI GPU PyTorch 2.0.0 (Amazon Linux 2) 20230406 セットアップ 適当なディレクトリを作成してJGLUEとtransformerをclone mkdir benchmark cd benchmark git clone https://github.com/yahoojapan/JGLUE.git git clone https://github.com/huggingface/transformers.git -b v4.9.2 tran
OpenCALM-7BをLoRAでFine tuningして対話ができるようにする｜masuidrive
ちょっと出遅れたけど、サイバーエージェントが出したGPT-NeoXベースのLLM、OpenCALM-7BをGoogle Colab上でLoRA使ってFine tuningをしてみました。 とりあえず対話を試したい人masuidrive/open-calm-instruct-lora-20230525-r4-alpha16-batch32-epoch1 に1 epoch回したLoRAを置いておきます。 Google Colabで試したい人はV100やA100のハイメモリで動かしてください。OpenCALM-7Bのshardが10GB単位なため、12GBの標準メモリでは動きません。transformersのloaderがもう少し賢ければ、T4の標準メモリでも動くと思うんだけど・・・ なぜFine tuningをするのかOpenCALM-7Bは基礎モデルなので日本語やWikiPediaの内容など
大規模言語モデルの学習コードまとめ｜npaka
大規模言語モデルの学習コードをまとめました。 1. Alpacaの学習コード「LLaMA 」を標準の「HuggingFace Transformers」の学習コードをでファインチューニングを行います。 「Transformers」はまだ「LLaMA」を公式サポートしてないため、特定のフォーク(68d640f7c368bcaaaecfc678f11908ebbd3d6176)を使用します。 以下は、FSDP full_shard モードで 4つの A100 80G GPU を搭載したマシン上のデータセットで「LLaMA-7B」をファインチューニングするコマンドです。 torchrun --nproc_per_node=4 --master_port=<your_random_port> train.py \ --model_name_or_path <your_path_to_hf_conv
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - llm-jp/llm-jp-sft
Fine-tuning Alpaca and LLaMA: Training on a Custom Dataset | MLExpert - Crush Your Machine Learning interview
peft/README.md at main · huggingface/peft
GitHub - lich99/ChatGLM-finetune-LoRA: Code for fintune ChatGLM-6b using low-rank adaptation (LoRA)
ChatGLM-finetune-LoRA/train.py at main · lich99/ChatGLM-finetune-LoRA
Parameter Efficient Fine-Tuning for Large Language Models with PEFT and LoRa
GitHub - huggingface/peft: 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.
PEFT