LLMを使ってモバイルアプリのUITestを自動化してみたい - JCB Tech Blog

はじめに はじめまして。JCBデジタルソリューション開発部の若林です。MyJCBアプリのiOSエンジニアをしています。 今回は、モバイルアプリのUIテスト自動化ツール Maestro と LLMを組み合わせて、 「自然言語で書いた指示から、Maestroの操作コマンド（YAML）を生成して実行する」仕組みを試作してみました。 背景と課題 今回の取り組みは、「E2EテストにLLMを利用して、少しでも保守や実装の工数を削減してみたい！」という思いからスタートしました。 E2Eテストには大きく分けて「テストの実行」と「結果の確認」の2つの工程があると思いますが、今回はまず「テストの実行」の自動化にフォーカスしています。 モバイルアプリのテスト自動化において、以下のような点に課題を感じていました。 UIテストが不安定になりやすい XCUITestで、対象要素の識別子（Accessibility I