Evaliteによるlocal nativeなLLM evals実行環境 - LayerX エンジニアブログ

こちらはLayerX AI エージェントブログリレー34日目の記事です。 こんにちは、CEO室でAI Agent開発のPdMをやっているKenta Watanabeです。 先日の記事に続いてeval関連の話題になります。 AIエージェントやLLMを使ったサービス開発をされている方は日々何かしらの環境でevalsを作成されているのではないかと思います。LangSmithやLangfuse, OpikやPromptfooなどLLMのtracingやevaluationを行うことのできるサービスはたくさんあり弊社でもLangfuseを活用しています。また、OpenAIはtracing/evaluationとも自社プラットフォームで行うことができ、Agents SDKを利用している場合はより簡単にこれらの環境を利用することもできます。 これらの基盤はevaluationとtracing, prom