LLM as a Judgeを活用！Knowledge Base EvaluationでのRAG評価 - Qiita

5 実験条件 Bedrock Knowledge Basesで構築したナレッジベースをKnowledge Base Evaluationで評価 ナレッジベースは2種類用意し、同じテストデータセットでの評価結果をコンソール上で比較 Hierarchical chunking Semantical chunking ※チャンキング戦略以外の条件は一致 Retrieval and response generationで全8項目を評価 RAGのGenerationにはClaude Sonnet 3を使用 LLM as a Judgeでの評価モデルにはClaude Haiku 3を利用 6 評価実施手順 Bedrockの左メニューバーの「Inference and Assessment」から「Evaluations」を選択 Evaluations画面の「Knowledge Bases」タブを選択