AI Agentのビジネス価値を計るバックテスト基盤の構築 - LayerX エンジニアブログ

こちらはLayerX AI Agentブログリレー36日目の記事です。 LayerX バクラク事業部で AI/MLOpsエンジニアをしている中村(@po3rin)です。今回はAI Agentのビジネス価値を計るバックテスト基盤を構築した話と、そこから学んだAI Agent開発のプラクティスを紹介します。 目次 目次 AI Agent機能の評価の重要性 AI Agent機能のバックテスト バックテスト基盤開発の難しさ バックテスト基盤を実現する技術 全体構成 SnowflakeへのSnapshotデータアクセス LLM Native GORM Plugin「Firn」 なぜLLMで書き換えるのか GORM Pluginの作り方 LLMによるクエリ書き換え部分 LLMのクエリ書き換えガードレール SQL BASE Golden Testing Package「gormgolden」 今回のバッ