[論文紹介] AdaLoRA

ICLR22のLoRA[1]の後続研究であるAdaLoRA[2]（ICLR23にposterで採択）の解説です． 書誌情報です． Q. Zhang, M. Chen, A. Bukharin, P. He, Y. Cheng, W. Chen, and T. Zhao, "Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning," in ICLR, 2023. 輪講スライドも公開してるので，良ければそちらも参照していただければ． 関連リンク ガチプロによる査読であるところのOpen Review Paper ICLR23版 arXiv版 PEFT v0.3.0における実装箇所 src/peft/tuners/adalora.py - class AdaLoraModel src/peft/tuners/adalora.p

[sh19910711]

"AdaLoRA: LoRAでは固定だったランク 𝑟 の値をLoRAを適用する層に応じて適応的に変化 / LoRA: 層やモジュールによってパラメータの重要度が異なるという事実を無視 / 既にHuggingFace PEFTに実装されていて ~ " arXiv:2303.10512 2023