AI時代のオブザーバビリティをどう考える？ DatadogでブラックボックスなLLMも観測可能に！

なぜLLMを組み込むと運用が難しくなるのか？ Datadog Japan合同会社 シニア デベロッパー アドボケイト 萩野 たいじ氏 LLMを既存のアプリケーションに組み込んだ後の運用フェーズを想像してほしい。 さっきまで問題なく動いていたのに、“なぜか”突然レスポンスが跳ね上がった。同じ入力を投げているのに、“なぜか”違う結果が返ってくる。コードも設定も変更しておらず、デプロイもしていないのに、“なぜか”挙動が揺らいでしまう。 このような“なぜか”が積み重なり、バグだとも障害だとも言い切れない状態に直面する。結果、「LLMの挙動によるものと思われます」と、思わず自分でもツッコミを入れたくなるような報告をするしかなくなり、エンジニアは窮地に立たされるのだ。 では、なぜLLMをシステムに組み込んだ途端に、障害対応が難しくなるのだろうか。 「まだ触り始めたばかりだから」「うちのチームにはAIの