はてなブックマーク

導入 これまでの連載では、構造化RAG（Structure-Aware RAG）において LlamaParseによるMarkdown整形 構造検索による検査 破綻箇所に対するVision-Guided Chunking（VGC） その上でchunk確定 という前処理パイプラインを整理してきました。 この設計は、PDFのような構造文書を扱う上で現実的かつ有効なアプローチです。 しかし、ここで立ち止まる必要があります。 私たちは一貫して「文書構造をテキストとして再構築する」ことを前提にしてきました。Markdown整形も、構造検査も、その延長線上にあります。 では、そもそも問いはこうではないでしょうか。 文書構造は、本当にテキストとして再構築すべきなのか。それとも、モデルが直接理解すべきレイヤーなのか。 VLM（Vision Language Model）が実用段階に入りつつある現在、「文書を

はじめに 前回の記事では、PDFをテキスト化した瞬間に、文書構造の多くが失われてしまう現実を確認しました。 では、その失われた構造は、PDFパーサーによって復元できるのでしょうか。 本記事で扱うLlamaParseは、失われた文書構造を復元するものではありません。 あくまで、構造を扱える状態に整形するためのツールです。 構造化RAGにおける「PDFパース」の位置づけ RAGパイプライン全体の中での役割 構造化RAGのパイプラインは、概ね以下の流れで構成されます。 この中でPDFパースは、失われた構造を復元する工程ではなく、文書を扱える状態に整形する入口工程に位置づけられます。 RAGの精度は検索段階だけで決まるものではなく、その前段階である取得・整形・分割の時点ですでに上限が定まっているケースも珍しくありません。 なぜ「パース設計」が軽視されがちなのか 多くのRAG構成では、Embeddi

はじめに｜RAGは検索以前に、もう壊れている 多くのRAGは、検索やEmbeddingの改善以前に、「入力データの時点で精度の上限が決まっている」。 にもかかわらず私たちは、検索精度・Rerank・評価指標ばかりに目を向けてきた。 だが実際には、RAGに渡されるドキュメントはすでに構造を失ったテキストになっている。 これまでのRAG改善は「正しかった」 これまでの連載では、質問設計（HyDE）、検索戦略（Hybrid Search）、Rerank、評価（RAGAS / Langfuse）など、 RAGに対して取り得る改善策や設計パターンを検証してきました。 これらはすべて、検索精度や回答品質を高める上で間違いなく有効なアプローチです。 しかし、それらを十分に実施していたとしても、ある地点から「改善しても差が出なくなる」状態に直面するケースがあります。 精度が頭打ちになる境界線 ドキュメント

なぜRAGは“改善されなくなる”のか RAGの評価結果が出ているにもかかわらず、精度がなかなか改善されない。 この状況は、多くの場合「どこを、どのように直せばよいのか判断できない」ことに起因します。 質問設計が悪いのか、Retrievalが適切でないのか、それともLLMの生成結果に問題があるのか。 評価スコアだけを見ても、改善すべきポイントを特定することは容易ではありません。 システムとしてRAGをリリースした後は、回答結果を継続的に監視し、仮説を立てながら改善していく必要があります。 しかし、そのためのログや比較の仕組みがなければ、評価は「数字を見るだけ」で終わり、次のアクションにつながらなくなってしまいます。 RAGにおける「運用」とは何か ここでいうRAGの運用とは、単に回答結果を監視することではありません。 「なぜその回答が生成されたのか」を後から再現できる状態を保つことが重要にな

なぜ今「検索戦略」なのか RAGを導入したものの、思ったように精度が出ない。 そのような経験はないでしょうか。 Embeddingモデルを選定し、ベクトル検索を実装した。それでも「欲しいドキュメントが取れていない」「回答が噛み合わない」と感じるケースは少なくありません。 多くの場合、検索の設計を振り返るとEmbeddingによるベクトル検索だけで完結していることがあります。 これまで本連載では HyDEによる質問設計(検索前の改善) top-k調整とRerankによる検索後の最適化 RAGASを用いた定量評価と改善サイクル 構造化チャンク設計 といった手法を通じて、RAG精度の向上を検証してきました。 しかし、それらを適用してもなお「そもそも検索段階で必要なドキュメントを拾えていない」という壁に直面することがあります。 この問題は、モデルや評価以前に検索戦略そのものの設計に原因があるケース