kickflowのAI申請前レビュー機能の品質評価プロセス - kickflow Tech Blog

AI申請前レビュー機能の品質評価プロセス こんにちは！QAチームのmakiです。 kickflowでは、先月AI申請前レビュー機能をリリースしました。 AI機能のQAは、従来のソフトウェアテストとは異なるアプローチが求められます。 AIは同じ入力に対して常に同じ結果が返るとは限りません。 また、「どこまでの精度を許容するか」という基準を事前に決めておく必要があります。 この記事では、AI申請前レビュー機能のQAをどのように実施し、何を評価したかをまとめます。 AI機能のQAに取り組む方の参考になれば幸いです。 AI申請前レビュー機能とは AIによるレビューの対象範囲 混同行列（AI評価の4分類）の定義 1. 準備フェーズ：評価基準と前提条件の設定 1.1. 合格ラインを決める 1.2. 評価フローの定義とデータ設計 2. 実行フェーズ：評価と分析フロー 3. リリース判定フェーズ：リスクベ