ベクトルDBを使わない「階層ナビゲーション型RAG」を作って、ベクトルDB版RAGと比較してみた

階層ナビゲーション型RAGとは 「階層ナビゲーション型RAG」は、ベクトルDBを使わずに文書を探すRAGです。準備段階で文書の山から階層的な目次を自動で作っておき、質問が来たらLLMがその目次を上から順に辿って、答えが書かれていそうな文書を選びます。質問のたびにベクトル検索をしない点が、一般的なベクトルDB版RAGとの違いです。 この記事では、この仕組みを論文の手法(Corpus2Skill)を参考に自作し、ベクトルDB版RAGと同じデータ・同じ質問で比較しました。 結論 28文書・20問の小規模な比較では、正答数は同等でした(どちらも20問中16問)。 階層ナビゲーション型は、質問1件あたりのLLM料金が約1.5倍、レイテンシが約1.3倍でした。 階層ナビゲーション型の失敗は、階層を降りるときのグループの選び間違いが中心でした。 LLM-as-a-Judgeの採点の食い違いは、手法間の差

[misshiki]

質問時にベクトル検索を使わず、LLMが階層目次をたどるRAGを比較検証。28文書・20問でAI再確認後の正答数は両方式16問。階層型のLLM料金は約1.5倍、応答時間は約1.3倍。簡略化した小規模実装での結果。