「Alpaca-LoRA」について軽くまとめました。 1. Alpaca-LoRA「Alpaca-LoRA」は、「LoRA」を使用して「Alpaca」の結果を再現するためのコードが含まれているリポジトリです。「Raspberry Pi」で実行できる「text-davinci-003」に迫る品質のInstructモデルを提供しており、コードは 13b、30b、65bに簡単に拡張できます。 単一のRTX4090で5 時間以内に実行される学習コードに加えて、基本モデルとLoRAのダウンロードと推論、および結果として得られるLoRA重み自体のスクリプトを公開します。安価かつ効率的にファインチューニングするために、HuggingFaceの「PEFT」とTim Dettmersの「bitsandbytes」を使用します。 ・Colab ・Discord 2. セットアップセットアップ方法は、次のとおり
![Alpaca-LoRA まとめ|npaka](https://cdn-ak-scissors.b.st-hatena.com/image/square/db9dceb1be1bc3108c3a751fce3c5c7752aeddbc/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F100698857%2Frectangle_large_type_2_3ea1cd56fd4aa4b4a6621b3068648615.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)