生成AIの品質保証をどう設計する？ ― 「全部QAで見る」をやめて、機械とAIと人に分けた話

はじめに 初めまして、ウェルスナビでQAを担当しています大久保です。 ハルシネーションまみれのAIから数年、最近はAIの進化の速度に驚かされる日々を送っています。 本記事では、AI事業者ガイドラインを起点に生成AIを組み込んだ機能のテスト観点を作り、 PoCで直面した課題をもとに、品質保証のプロセスを組み直した過程を紹介します。 生成AIの品質保証と言われた時に、QAではどんなテストをすれば良いでしょうか。 私たちは最初、PoCで考えられるAIリスクを洗い出し、それをすべてQAで確認しました。 その中で、確認工数だけでなく判定基準やリリース判断との結びつきにも課題が見えてきました。 PoCを経てまず見直したのが、 「どのリスクを、誰が保証するのか」という責務の分担です。 QAだけで判断すべきではない品質は、 法務・コンプライアンス・プロダクトなど適切な担当へ分離し、 QAではリリース判断の