RAGを使ったチャットボットの成功を見極める評価手法を解説

1. はじめに RAGとは? RAG (Retrieval Augmented Generative)は文章検索で関連文章を抽出してLLMにプロンプトとして渡す手法で、検索拡張生成ともいいます。 情報を外部のベクトルデータベースに保存しておき、ユーザーの質問あった際に、質問に関係しそうな文書データを検索して、その参考情報(Context)を追加したデータをもとにLLMが回答を生成する仕組みとなっています。 https://zenn.dev/pipon_tech_blog/articles/92ab7ee5abdc06 RAGはLLMに参考情報として文書データを渡すため、データの品質が悪い場合やそもそも情報がない場合には適切な回答が得られません。 精度が下がるにことに加えて、事実に基づかない情報を生成する幻覚(Hallucination)と呼ばれる現象を起こす可能性があります。 このため、R

[masadream]

短いけど良記事。よく読む