Alpaca-LoRA まとめ｜npaka「Alpaca-LoRA」について軽くまとめました。 1. Alpaca-LoRA「Alpaca-LoRA」は、「LoRA」を使用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「Raspberry Pi」で実行できる「text-davinci-003」に迫る品質のInstructモデルを提供しており、コードは 13b、30b、65bに簡単に拡張できます。 単一のRTX4090で5 時間以内に実行される学習コードに加えて、基本モデルとLoRAのダウンロードと推論、および結果として得られるLoRA重み自体のスクリプトを公開します。安価かつ効率的にファインチューニングするために、HuggingFaceの「PEFT」とTim Dettmersの「bitsandbytes」を使用します。 ・Colab ・Discord 2. セットアップセットアップ方法は、次のとおり
