Hermes Agent × Langfuse で LLMOps の観測性を高める：ネイティブプラグインの導入と運用上の注意点

ガオ株式会社では、社内およびグループ企業間の業務で自律型エージェント Hermes Agent (NousResearch/hermes-agent) の活用を進めています。 エージェントが Tool を呼び出しながら自律的に業務を進めるようになると、LLM API call 単位のログだけでは挙動を追いきれません。さらに自律型エージェントの場合、人手が介在せず判断と実行が連続して走るため、観測性 — 後から誰が何を要求し、エージェントが何を判断し、どの Tool をどう実行したかを追える状態 — が、従来以上にガバナンスや内部統制の観点で重要になります。 本記事では、Hermes Agent v0.12 系以降に同梱されている Langfuse observability プラグインを self-hosted Langfuse に接続し、エージェントの挙動を 3 段の観点 (ターン /

[misshiki]

Hermes AgentのLangfuseプラグインで、ターン/LLM call/Tool callを同一traceに集約。Slack経由の実例では1m17s、55,715 prompt→2,371 completion、$0.034971を可視化。Tool入出力の機密情報管理が課題。

[simplememofast]

観測単位をLLM callからturnに上げる発想に強く同意。本質は『証跡として説明可能か』で、retention設計とマスキング方針が先に来るのが現代の正解

[rrringress]

たしかにAgentにもSyslogみたいなものがあって少なくともあとからでも確認できたほうが都合いいな

[mkusaka]

Hermes AgentのLangfuse観測プラグインでHermes turn/LLM call/Tool callをtrace化し運用注意点も解説