音声AI Agentの評価・テスト基盤を支えるUserSimulatorの実装 - newmo 技術ブログ

newmoではタクシーの音声配車AIエージェントの「Maido」を開発しています。前回の記事では、LLM評価フレームワークのDeepEvalを用いたMaidoの会話評価基盤について紹介しました。 この記事では、その基盤を支えるもう一つの主役である「UserSimulator」の実装にフォーカスして、詳細を解説します。 なぜSimulatorが必要か MaidoのようなMulti-AgentなアーキテクチャのLLM Agentを開発・運用する上で、Agentの評価は不可欠です。 Simulatorが存在しない状態でAgentの評価を行う場合、初歩的な例ではAgentとユーザーのやり取りを「AgentがAという質問をしてきたら、Xと回答する」といった形でルールベースでシナリオ化する方法が考えられます。しかし、実際にはLLM Agentがこなせる会話は多岐に渡り、むしろそれが強みです。そのため、