「精度何%ならリリースOK？」運用開始前に定める、納得感のあるLLM評価基準の作り方 - レバレジーズ データAIブログ

こんにちは。データアナリティクスグループの丸山です。 現在、私たちのチームでは求職者の方々により納得感のある仕事探しを体験していただくため、レコメンドエンジンに「LLMを用いた推薦理由の説明」を付加するプロジェクトに取り組んでいます。 このような推薦理由の説明はTikTokなど転職支援サービス以外でも導入されており、サービスのKPIにポジティブな影響を与えるケースも多いことが知られています。 さて、LLMの生成テキストをプロダクトに組み込む際、避けて通れないのが「その説明は本当に妥当なのか？」という評価の問題です。特に、運用データがない段階ではLLM as a judgeなどで算出した指標がビジネスのKPIとどのように結びつくか判断することが難しいケースがあると思います。本記事では、このようなケースにおいて「ビジネス上の成果を担保するために、どの程度の精度があれば実運用に踏み切れるか」とい