株式会社IVRyのMoriyaです。 OpenAI APIなどのLLM APIの監視を行うために、Datadog LLM Observabilityを試してみました。このブログでは、Datadog LLM Observabilityの導入方法・出来ることなどをまとめました。 背景 IVRyは、AI対話システムを利用した電話自動応答を開発している会社です。 当社では、LLM APIを使う機会が多い一方、LLM APIの監視には力を入れてきませんでした。そのため、LLM APIのLatencyなどを容易に可視化できておらず、状況に応じた迅速な判断をするのが難しいという課題がありました。 Datadog LLM Observabilityがリリースされたので、試してみることにしました。 導入方法 IVRyで開発しているAI対話システムは、Python applicationがECS上で動いていま