ICLR22のLoRA[1]の後続研究であるAdaLoRA[2](ICLR23にposterで採択)の解説です. 書誌情報です. Q. Zhang, M. Chen, A. Bukharin, P. He, Y. Cheng, W. Chen, and T. Zhao, "Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning," in ICLR, 2023. 輪講スライドも公開してるので,良ければそちらも参照していただければ. 関連リンク ガチプロによる査読であるところのOpen Review Paper ICLR23版 arXiv版 PEFT v0.3.0における実装箇所 src/peft/tuners/adalora.py - class AdaLoraModel src/peft/tuners/adalora.p