Amazon BedrockのLLM as a judge機能を試してみる - Qiita

せっかくなので、後者を選んでみる。 こちらのオプションでは回答を生成するLLM（いわゆるGenerator）を選ぶ必要があるので、こっちは一つ古いSonnet 3を選んでみる。 4. ジョブ設定(3) Metrics Generatorの評価項目を選ぶ。これも全部載せにしてみる。 ちなみに、Retrieval onlyの場合はContext relevance（コンテキストの関連性）とContext coverage（コンテキストの網羅性）しか出てこないが、Retrieval and rensponse generationでは逆にこの二つが出てこない。「検索と生成」を評価するのではなく、「生成」のみを評価するのかも知れない。 5. ジョブ設定(4) データセットと評価結果の場所 前者では、評価ジョブで使用するプロンプトと参考レスポンスのセットをjsonlファイルとしてまとめたものをアップ