【RAG】文書をパラメータ化してLLMに直接注入する手法

本記事では、RAGの性能を高めるための「DyPRAG」という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、RAGの新手法である「DyPRAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 （すみません、ちょっと今回、玄人向けの記事です...🙏） 本題 ざっくりサマリー DyPRAGは、中国科学院自動化研究所の研究者らによって2025年3月に提案されました。 通常のRAGでは、ユーザーの質問に関連する文書を「会話のコンテキスト」としてLLMに渡します（=「In-context learning」）。ただ、このとき文字数が多すぎると、LLMがハルシネーションを起こした

[misshiki]

“DyPRAGでは、関連文書をLLMのパラメータに変換して、LLMに直接注入します。こうすることで、LLMは、文書の内容を、より忠実に理解して回答できるようになります。”