インターン生がAIエージェントにDatadog LLM Observabilityを導入して"中身が見える"ようになるまで

はじめに はじめまして。TOKIUMの長期インターンで出張手配AIエージェントの開発をしている安藤です。 AIエージェントを開発していると、こんな場面に出くわします。 ユーザーの質問に対して、エージェントが的外れな回答をする エラーは起きていないけど意図した出力が得られず、どの処理で何が失敗したのかわからない 動いてはいるけど、中で何が起きているのかわからない この「中身が見えない」問題を解決するために、Datadog APMとLLM Observabilityを導入しました。この記事では、技術的な実装の詳細というよりも、何を見えるようにしたかったのか、どんな判断をして、何を学んだのかという過程を中心にお伝えします。 AIエージェントやLLMアプリにオブザーバビリティを導入しようとしている方の参考になれば嬉しいです。 開発しているプロダクトについて 私が開発に携わっているのは、出張手配を行