AIテストプロセスの信頼度を測り、改善を回す【前編】── 品質メトリクスの設計と運用 - エムスリーテックブログ

こんにちは、QAチームの草場です。 Claude Codeに代表されるAIエージェントの登場で、ソフトウェアテストの現場も大きく変わりつつあります。私のチームでも、テスト分析からテスト実行まで、テストプロセスの各工程をAIエージェントに任せる取り組みを続けてきました。大量の情報収集が短時間でできる、テストケースの下書きを数分で出せる、DBの検証やAPIの疎通確認も自律的に進めてくれるなど、AIによる効率化の手応えは確かにあります。 ただ、現状はあくまで人間が間に入る必要があり、人間による理解・レビューが必ず発生します。 「このAIテスト、どこまで信頼していいのか?」 将来的にはAIに任せる範囲はもっと広げたいです。AIの判断や生成物を人間が見なくても信頼できる領域を、少しずつで良いので作っていきたい。 しかし、広げてよいかを判断する材料が体感しかありません。そこで、AIテストプロセスそのも