RAGにおけるドキュメント検索精度向上について(概要編)

はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A

[shields-pikes]

これなー。LangChainの導入は比較的簡単だけど、精度を上げようとすると「試行錯誤しつつ前処理頑張ります！」になる。Assistant APIのRetrievalはもっと手軽だが、前処理手法やベクトル検索DBの構造が非公開で改善が難しい。

[stealthinu]

RAGの精度向上手法について。まあどこも同じようなことをやってる感じ。ある意味横並びにしかなれない。

[misshiki]

“RAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介”

[deejayroka]

“中には表が入れ子構造になっているものや、矢羽で表現されている図等がありテキスト化に非常に苦労しました。”

[kiririmode]

RAGでのドキュメント検索精度を向上するためのさまざまな手法の紹介。対象ドキュメントをサマリしておいたり、質問の方を拡張したり(HyDE含む）、関連文書をre-rankingしたり。

[hateshinaiz]

この記事はすごく良いんですが、例題の「飛び石は保証されますか」なんていうのは、AI使うまでもなく解決できるだけに、簡単な問題にコストを掛けて無理やりAIを使っているように見える点、これはどうなんだろう。

[sh2]

いろいろと手法はあるけれど、効果を出すのは難しそう

[currypurin]

“実際の詳細な手法および結果については、別記事（実践編）で解説予定です。”、良い概要紹介

[irh_nishi]

頑張ったところで大した精度にならないので、労多くして、って感じ。根本的に使い方を考え直すべき。

[minorusato]

RAG

[rag3]

こんな名前なので気になりますを言う日が来ようとは。略語でなければあまりいい意味ではない。

[naggg]

"日々新しい手法やモデルが開発・報告されており、個人的にはDeep Learningが大々的に流行った2018年前後の雰囲気を思い出しています。それと同時に、どんなケースでも100%上手くいく所謂「銀の弾丸」はやはり存在しない"