AI を自分好みに調整できる、追加学習まとめ ( その５: LoRA)｜teftefこんにちはこんばんは、teftef です。今回も追加学習手法についてです。これまで説明してきた Diffusion Model のファインチューニングでは一般的に Unet , Text Transformer の再学習を行いました。しかし、全てのパラメーターを再学習するには時間がかかってしまいます。今回はファインチューニング後のモデルの品質を下げず、省時間、省メモリの手法を実現した軽量化手法、『LoRA』 です。 といっても今回は数学的な話はあまりせず、実際に 普通のファインチューニング手法と LoRA を用いた手法の違いを比べてみたいと思います。 私もまだ初学者であり、説明が間違っていたり勘違いがある可能性が 0 ではないということをご了承ください。ぜひコメントなどをいただけたら幸いです。 それでは行きます。 使用した論文 問題提起 機械学習(特に自然言語処理の分野)ではパラメーター数
