はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 業務でLLMを利用する場合に重要となっていくる事実を回答させるためのアプローチ。2024年1月のMicrosoftの『Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs』という論文でFine-Tuning に RAGが勝利したことが示されています。RAGを選択する根拠として活用できそうです。 結論 Fine-Tuning vs. RAG：MMLUと時事問題の両タスクの結果では、RAGに大きなアドバンテージがあった。 [MMLU Results] （引用元：論文）

はじめに LoRAは、2022年に論文で紹介されている大規模言語モデルの効率的なファインチューニングを実現するための手法です。大規模言語モデル入門にも紹介されているのでLLMの基礎から学習するのであればこちらの本がお勧めです。 LoRAとそれ以外の代表的なチューニング手法との違いは以下のようになります。 LoRA（LOW-RANK ADAPTATION）： 少数の学習パラメータでタスクに対して調整するという考え方。 RAG（Retrieval-Augmented Generation）： 辞書的に外部の知識を与えてモデルに回答してもらうという考え方。 In-Context learning／Few-Shot Learningや、Promptエンジニアリング： モデルは十分な能力を備えているのでモデルからうまく回答を生成するという考え方。 LoRAの仕組み アプローチとしては、非常にシンプル