LoRAの進化：基礎から最新のLoRA-Proまで

各図表は言及がない場合、対応する論文から引用しています。 LoRA(2021) LoRA（Low-Rank Adaptation）は、ファインチューニング中にモデルの重み行列で生じる変化が、実は低ランクの構造を持つという仮説に基づいています。 LoRAの仮説背景 先行研究①②では、深層学習モデルが非常に多くのパラメータ（高い次元の空間）を持っているにもかかわらず、そのモデルの実効的な複雑さや、学習された表現が占める空間が、パラメータの総数よりもはるかに少ない次元で特徴づけられることを示唆しています。 LoRAは先行研究の知見をもとに、LLMの事前学習済みの重みは固定したまま、各層に非常に小さいアダプター行列を注入することで、タスク特化型のファインチューニングが可能と提案しています。 このアイデアを実装するために、事前に訓練された重み行列 W_0 \in \mathbb{R}^{m \tim

[misshiki]

“LoRAの基本概念から始め、様々な派生手法を整理しながら、LoRA-Proについて解説”