AIエージェントの品質保証 〜QAが知識ゼロから挑んだ3ヶ月間〜 - Money Forward Developers Blog

こんにちは。CQO室 QAエンジニアのTodoです。 2025年12月3日に「マネーフォワード クラウド契約」から「リース識別エージェント」がリリースされました。 「リース識別エージェント」はワンストップ契約管理サービス『マネーフォワード クラウド契約』において提供するAIエージェントです。エージェントが電子化された契約書を解析し、リース取引となる該当性の一次判断、根拠条文や仕訳に必要な要素の抽出を行います。 このAIエージェントがユーザー課題を解決できるかを判断するために、客観的な立場のCQO室に精度評価が求められました。 そこで、AIプロダクトの品質保証の知識ゼロ、従来の機能テストQA経験のみの私が、このAIエージェントの精度検証を担当することになりました。これは、私にとって新しい挑戦でした。 本記事では、約3ヶ月の検証期間を通じてどのように模索してきたかをご紹介します。 想定読者 A

[kiririmode]

機能テストと精度向上は分ける。ミニマムなデータセットを作っておいてカテゴリで分析し弱いところのデータセットを補強。同一インプットを複数回試し不確実性に対応

[mkusaka]

「リース識別エージェント」の3ヶ月間の精度検証プロセスを紹介、正解率・偽陰性低下を指標にテストデータをLLMで生成し、同一データを3回実行して評価した取り組み。