Playwright × 生成AI でVRTのバグ報告を自然言語化してみたら実用的だった話

こんにちは！IVRyのQAエンジニアの関(@IvryQa)です。 IVRyでは2024年12月から Playwright[1] を用いた Visual Regression Testing（以下、VRT）[2] を導入し、約半年間運用してきました。 ピクセル差分は拾えても これって本当にバグなのか？ と判断するのに時間がかかったり、マスク設定やしきい値調整など地味なメンテ工数が積み重なっていました。 そこで今回、画像を理解できる生成AIを使って差分をバグ報告として自然言語化し、Slackに通知する仕組みを試してみました。 同じような悩みを抱えている方の参考になれば嬉しいです！ 概要 現状の VRT の仕組みでは、1pxのズレも検知してしまい、本当のバグかどうか人間が判断する必要がありました。また、マスク設定やしきい値調整もやや手間があり、運用コストが高いのが課題としてありました。 そこで、

[efcl]

VRTのスクショの差分をAIで説明させる話

[misshiki]

“Playwright×生成AIを組み合わせて、VRTの差分判定を自然言語のバグ報告に変換する仕組みを構築。...「〇〇のレイアウトが崩れています」といった日本語で教えてくれるため、バグ判断が格段に楽に”

[T-norf]

これはぜひ真似したい