AIでイベントカタログを279件自動生成し、成果物の検証を設計した話

トリビューでリードエンジニアをしています、志甫 (@shihochan_jp) です。 弊社では、美容医療アプリ「トリビュー」の4リポジトリ（iOS、Android、Webフロントエンド、バックエンド）から、Google Analytics・Braze・Adjustの計測定義279エントリ（イベントのほか、ユーザー属性や配信トリガーの定義も含む）を横断するカタログを、AIで自動生成する仕組みを運用しています[1]。 AIにコードを読ませてドキュメントを生成させると、次の2つが問題になります。 実行のたびに出力が微妙に揺れて、変更差分が読めなくなる コードに存在しないイベント名が、もっともらしく混入する（ハルシネーション） この2つをプロンプトの工夫で解こうとする議論は多いのですが、生成の工夫だけでは品質を担保できないというのが、この仕組みを運用してきた実感です。 本記事では、このパイプライ

[toshi10]

AIに生成させる知見は世の中に溜まってきました。 次に設計が必要になるのは、成果物をどう検証するかの構造だと考えています。 →その通りだと思う

[obiyuta]

イベントってどこになに仕込んであるかわからくなりますよね🕹️

[misshiki]

AIで279件のイベント定義を生成し、4層で検証。JSON＋決定論的処理、双方向検証、用語照合を組み合わせ、AIの漏れだけでなく実装上の不具合も発見。