MLflow LLM Evaluate：Amazon Bedrock / Claude 3.5 Sonnet で LLM-as-a-Judge による LLM の評価 - Qiita

はじめに 株式会社NTTデータ デジタルサクセスソリューション事業部 で AWS や Databricks を推進している nttd-saitouyun です。 MLflow LLM Evaluate で モデルサービングされた LLM を評価する記事を書きました。 今回は同じシナリオで、LLM-as-a-Judge による評価をしてみます。 マニュアルには OpenAI の GPT を使った評価が多いのですが、今回は、AWS で Databricks を使っている方に役立つように モデルサービングエンドポイントで接続している Amazon Bedrock / Claude 3.5 Sonnet を使って評価を行います。 MLflow LLM Evaluate LLM の評価は正解を定義することが難しいなど従来と違った難しさがありますが、MLflow LLM Evaluate は、LLM