株式会社IVRyのMoriyaです。 OpenAI APIなどのLLM APIの監視を行うために、Datadog LLM Observabilityを試してみました。このブログでは、Datadog LLM Observabilityの導入方法・出来ることなどをまとめました。 背景 IVRyは、AI対話システムを利用した電話自動応答を開発している会社です。 当社では、LLM APIを使う機会が多い一方、LLM APIの監視には力を入れてきませんでした。そのため、LLM APIのLatencyなどを容易に可視化できておらず、状況に応じた迅速な判断をするのが難しいという課題がありました。 Datadog LLM Observabilityがリリースされたので、試してみることにしました。 導入方法 IVRyで開発しているAI対話システムは、Python applicationがECS上で動いていま
Observability のベストプラクティスを実現：Datadog Service Scorecards によるサービスレベルの自動評価と可視化 - Qiita
Observability のベストプラクティスを実現：Datadog Service Scorecards によるサービスレベルの自動評価と可視化apmDatadogSREobservability はじめに こんにちは、Datadog Japan で Sales Engineer をしている AoTo です。 この投稿は AoTo Advent Calendar 2023 17日目の記事です。 Observability のベストプラクティス、あなたは取り組めていますか？ この問いかけに、自信を持って Yes と答えられる方は少ないのではないでしょうか。 こうしたペストプラクティスの取り組み状況を把握するために、Datadog Service Catalog の機能である Service Scorecards は、Observability の実現を支える組織と文化のベストプラクティス
GitHub - lmnr-ai/lmnr: Laminar - Open-source DataDog + PostHog for AI agents / RAG apps. Fast, reliable and insightful. Written in Rust 🦀. YC S24.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Laminar
Open-source observability and analytics for complex LLM apps From full instrumentation to event-driven analytics and evaluations, Laminar is the only platform you need to debug and understand your complex LLM app.
Amazon Redshift data ingestion options | Amazon Web Services
AWS Big Data Blog Amazon Redshift data ingestion options Amazon Redshift, a warehousing service, offers a variety of options for ingesting data from diverse sources into its high-performance, scalable environment. Whether your data resides in operational databases, data lakes, on-premises systems, Amazon Elastic Compute Cloud (Amazon EC2), or other AWS services, Amazon Redshift provides multiple i
PromptyとLangChainを使ってGemini Flash（gemini-1.5-flash）から出力を得る
はじめに この記事ではMicrosoftが提供するPromptyを使ってGeminiを操作する方法について説明します。 Promptyとは GitHubの記載によると以下のように説明されています。 Prompty is an asset class and format for LLM prompts designed to enhance observability, understandability, and portability for developers. The primary goal is to accelerate the developer inner loop. 訳：PromptyはLLMプロンプトのためのアセットクラスとフォーマットで、開発者のための観測可能性、理解可能性、移植性を高めるように設計されています。主な目的は、開発者のインナーループを加速することです
はじめに
製品 { this.openCategory = category; const productMenu = document.querySelector('.product-menu'); window.DD_RUM.onReady(function() { if (productMenu.classList.contains('show')) { window.DD_RUM.addAction(`Product Category ${category} Hover`) } }) }, 160); }, clearCategory() { clearTimeout(this.timeoutID); } }" x-init=" const menu = document.querySelector('.product-menu'); var observer = new MutationO
ロギングで読みづらいコードをDomain Probeパターンで整理する - OpenWork Tech Blog
Photo by Jason Abdilla on Unsplash ビジネスロジック vs ロギング こんにちは。ウェブエンジニアの濱田です。普段の業務ではスマホアプリ用のAPIを開発する一方で、古くなったコードベースの改善にも取り組んでいます。 早速ですがビジネスロジックのロギング処理は言うまでもなく重要なことですよね。エラーを検知するためのログ、分析用のデータを収集するログなど、弊社でもさまざまなログを取っています。 一方でビジネスロジック中にログのためのコードが混在することで「コードが読みづらくなった」ことのある方は多いのではないでしょうか。 本記事ではDomain Probeパターンという設計手法を用いて、ビジネスロジックからロギングの責務を切り離し、見通しを良くする方法を紹介したいと思います。 もともとはコード設計等で著名なMartin Fowler氏のサイトで紹介されていて知
こんにちは、クラウドエース株式会社 SRE 部の阿部です。 この記事ではメジャーアップデートした Terraform Google Provider 6.0.0 の新機能と変更点について紹介します。 概要 2024 年 8 月 27 日に、Terraform の Google Cloud 向けプラグイン(Provider)である Terraform Google Provider が 6.0.0 にバージョンアップしました。 また、同日に 6.0.1 もリリースされております。 このブログ記事では、6.0.1 の内容もあわせて紹介します。 対象読者 Terraform で Google Cloud の構築・運用をしているエンジニア メジャーバージョン間の非互換が気になる方 変更点概要 プロバイダデフォルトラベル(goog-terraform-provisioned)が自動付与されるようにな
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Datadog LLM Observabilityを試験導入しました
Terraform Google Provider 6.0.0 の新機能と変更点について