RAGを作るのではなく、検索される知識を運用する

RAGは作るより、更新され続けるデータの中で精度を保つ方が難しかった。Difyで自前RAGを組んだあと、データ更新に合わせて検索品質を維持し続けるのがしんどかったので、Agent SearchとCloud Storageでナレッジ供給パイプラインを組んだ話。 TL;DR RAGで本当に重かったのは、初期構築ではなく、データ更新後も検索品質を維持し続けることだった 自前RAGでは、精度低下の原因が「データの変化」なのか「検索設定」なのか分離しづらかった 検索基盤はAgent Search[1]に寄せ、自分はXML sitemap、SHA256差分検知、Cloud Storage、daily同期、Slack通知のナレッジ供給パイプラインを持つことにした これからSearch quality evaluationやCheck grounding APIで、検索品質と回答の根拠性の検証も自動化して

[khtno73]

“データ更新後も検索品質を維持し続ける” この辺いろいろやってるけど、将来的にCoWorkでどうにかできるような枠組みはしたい

[enemyoffreedom]

「RAGは作った瞬間ではなく、データが更新され始めてからつらくなる」

[ihirokyx]

RAGで精度が出ないとき、原因はモデルやプロンプトではなく、検索対象の状態管理にあるかもしれない 「何を検索対象に入れるか」「どう更新するか」「どう監視するか」を先に設計すると、精度改善の方向が見えやすく

[ys0000]

検索性能に右往左往してるので共感できる。試験項目充実させてリグレッションしながら維持してくようにしたい。