MLflow LLM Evaluate：Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価 - Qiita

MLflow LLM Evaluate：Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価AWSDatabricksbedrockMLflowLLM はじめに 株式会社NTTデータ デジタルサクセスソリューション事業部 で AWS や Databricks を推進している nttd-saitouyun です。 MLflow LLM Evaluate で モデルサービングされた LLM を評価する記事を書きました。 今回は同じシナリオで、LLM-as-a-Judge による評価をしてみます。 マニュアルには OpenAI の GPT を使った評価が多いのですが、今回は、AWS で Databricks を使っている方に役立つように モデルサービングエンドポイントで接続している Amazon Bedrock / Cla