AIのテスト観点を「決定論的」にする - テスト観点カタログを作った

こんにちは！株式会社 Aldagramで業務委託QAをしている宮下です！ 前回は、Claude Code 上で QA プロセスを回す AI エージェント「qa-orchestrator」を作った話を書きました。 今回はその続きになります。 qa-orchestrator を運用してみて、いちばん気になっていたのが「仕様書に書かれていない振る舞いの観点が抜ける」ことでした。これに対して、テスト観点カタログという仕組みを考え少しずつ運用を始めているので、何を考えてどう作ったか、そして今どこまで来ているかを書いてみます。 3 行サマリ ・テスト観点の抜けは、仕様書に書かれる高リスクな部分ではなく、「わざわざ書かないけれど確認は必要な振る舞い」で起きていた ・UI 要素 × 役割ごとに確定観点を定義した「テスト観点カタログ」を作り、その部分を機械的に埋めるようにした ・まだ計画の 3 割弱しか実装

[misshiki]

AIのテスト観点抜けを防ぐため「UI要素×役割」で確定観点をカタログ化。計画の3割弱実装時点でも188件中92件がカタログ由来で、レビュー削除は0件。決められる部分はAI推論に任せない。

[otihateten3510]

コンポーネントごとのテンプレ項目のリストアップ

[nguyen-oi]

結局は人間がカタログ作ってAIの首輪にするのが正解か。銀の弾丸は無いな