「ベクトルDB不要」なRAG手法「PageIndex」を解説

本記事では、RAGの性能を高めるための「PageIndex」という手法について、ざっくり理解します。 株式会社ナレッジセンスは、「エンタープライズ企業の膨大なデータを掘り起こし、活用可能にする」プロダクトを開発しているスタートアップです。 この記事は何 この記事は、RAGで「ベクトルDB」を使わずに回答精度を上げる手法「PageIndex」[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます（参考）。 本題 ざっくりサマリー PageIndexは、RAGの精度を上げるための新しい手法です。Vectify AIによって開発されました。 通常のRAGでは、文章をベクトル化して、類似度が高いものを検索して参照します。しかし、これだと「意味は似ているが、文脈は違う」情報を取ってきてしまい、回答精度が落ちます。 そこで、PageInde

[misshiki]

“ベクトルデータベースを使わないRAGを提案しています。 具体的には、PageIndexという手法では、文書を階層的なツリー構造に変換（「目次」のようなイメージ）し、LLMがその構造を辿って検索します。”

[strawberryhunter]

多少工夫されたPoor man's RAG。

[yarumato]

“通常のRAGでは、文章をベクトル化して、類似度が高い情報を取得する。文脈が違うものも取得して回答精度が落ちる。PageIndexは文脈を理解するが、複数の文書に対応できない致命的な限界。膨大なページ数のPDF1件向け”

[tonza_dopeness]

読んでてそんなユースケースあるか？と思ってたけど、最後で納得する。確かにこのユースケースなら。>「膨大なページ数のPDF1件を読み込ませて、AIに質問したい

[DropOutSurf_JOY]

論理構造/文書構造を保った本来のHTMLに戻ったような。SEOにも有効なJSONLDがLLMとも相性が良さそう。

[ka-ka_xyz]

memo