超精密インデックス「PageIndex」で実現する推論ベースRAG（JTC版）

TL;DR 「類似性」から「構造」へ: 論理構造に基づいた推論ベースの検索でベクタ検索（近似検索）の限界を突破する。 「意味的な目次」としてのPageIndex: ドキュメントからツリー構造のインデックスを構築、LLMが生成した高密度なサマリを「検索キー」として活用。 AlphaGo（MCTS）流の探索プロセス: AIエージェントがツリーを段階的に辿り、推論によって「正解への筋」を絞り込むナビゲーション。 JTCドキュメントに対する力業: PDFのみならず、大量のPPTやExcelをPageIndex形式に「正規化」して実戦投入、圧倒的勝利（？）。 「デノイジング（Denoising）」こそが推論の命: 無関係な情報をコンテキストに入れない（ノイズ除去）ことで、LLMの推論性能を最大化する。 1. PageIndexとは何か： 「全文検索」のその先へ 前回の記事では、Officeドキュメン

[simplememofast]

全文検索が点なら目次ツリー探索は面。自分のメモ再発見でもタグ全文より見出し階層を辿る方が速い。結局インデックス設計が効くということでは

[nguyen-oi]

ベクタ検索の限界を感じてたから、ツリー構造でLLMに探索させるアプローチは面白い