はじめに LoRAは、2022年に論文で紹介されている大規模言語モデルの効率的なファインチューニングを実現するための手法です。大規模言語モデル入門にも紹介されているのでLLMの基礎から学習するのであればこちらの本がお勧めです。 LoRAとそれ以外の代表的なチューニング手法との違いは以下のようになります。 LoRA（LOW-RANK ADAPTATION）： 少数の学習パラメータでタスクに対して調整するという考え方。 RAG（Retrieval-Augmented Generation）： 辞書的に外部の知識を与えてモデルに回答してもらうという考え方。 In-Context learning／Few-Shot Learningや、Promptエンジニアリング： モデルは十分な能力を備えているのでモデルからうまく回答を生成するという考え方。 LoRAの仕組み アプローチとしては、非常にシンプル