Datadog でアラート通知の質を向上させるための取り組み
この記事は毎週必ず記事がでるテックブログ "Loglass Tech Blog Sprint" 44 週目の記事です！1 年間連続達成まで残り 9 週となりました！ はじめに はじめまして、2024 年 4 月にログラスにジョインしたエンジニアの石畑です。 まだまだドメインやシステムについて学んでいる最中なのですが、その中でアラート監視・運用周りをより良くできそうだったので、試行錯誤したことをまとめたいと思います。 どんな課題があったのか？ ログラスではフロントエンドからバックエンド、インフラに至る全てのログ・メトリクスが Datadog に集約され、横断的に分析・監視できる仕組みが整っています。アラートも Datadog でモニタリングを作成し、「Slack に通知 → ローテションのオンコール担当が対応」という体制が作れています。 しかし、歴史的に積み重なったモニタリングが過剰にアラー
Datadog って OpenTelemetry に対応しているの？ - Qiita
はじめに こんにちは、Datadog Japan で Sales Engineer をしている AoTo です。 この記事は AoTo Advent Calendar 2023 7日目の記事です。 Datadog は OpenTelemetry に対応しているのか、何ができるのか、あまり知られていないかもしれません。結論から述べると Datadog は OpenTelemetry に対応しており、多くのことを実現できます。 2023年に発表された Datadog の OpenTelemetry をはじめとする OSS への取り組みの公式ブログをベースに、Datadog が OpenTlemetry で計装・収集した監視テレメトリデータをどのように扱えるのか紐解いていきます。 経緯 Datadog は Opentelemetry プロジェクトの発足前、StatsD をはじめとして OpenT
SRE を立ち上げた4ヶ月後の世界
この記事は、Magic Moment Advent Calendar 2023 4 日目の記事です。 こんにちは! Magic Moment で Senior Engineering Manager 兼 SRE Engineering Manager をやっている 木村 (@ryurock) です。 Magic Moment アドベントカレンダー 4 日目では、2023年9月に SRE チーム を立ち上げた 4 ヶ月後の世界。 というテーマでアドカレやっていきたいと思っています。( ｰ`дｰ´)ｷﾘｯ SRE チームの立ち上げの経緯 遡る事、2023年7月頃に弊社が提供しているサービス Magic Moment Playbook のコアデータが立て続けに更新できない障害が相次ぎました。 Sales Operation を行う上で、大切なデータが頻繁に反映されないこの由々しき事態はユーザー様
Migrating to OpenTelemetry | Airplane
At Airplane, we collect observability data from our own systems as well as remote “agents” that are running in our customers’ infrastructure. The associated outputs, which include the standard “three pillars of observability” (logs, metrics, and traces) are essential for us to monitor our infrastructure and also help customers debug problems in theirs. Over the last year, we’ve made a concerted ef
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です！ https://yuru-sre.connpass.com/event/292063/
AWS ELB アクセスログを Datadog Logs に転送するシンプルな方法 w/Datadog Forwarder - アイリッジ開発者ブログ
はじめに プロダクト開発部の井口です。 私たちのプロダクトでは、システムを監視するための仕組みとして Datadog という SaaS を導入しています。 クラウドインフラにおけるログの一元的なモニタリング環境の整備を進めているのですが、今回はタイトルにもあるように AWS ELB アクセスログの転送方法をご紹介します。 Datadog のセットアップ Integration のインストール 左メニューの Integrations -> Integrations から Amazon Web Services をインストールします。 詳細はDatadog 公式リファレンスにおける Setup を参照してください。 API Key の発行 左メニューの Integrations -> APIs を開いてください。 API Keys の New API key に一意な名称を入力し、Create
Datadog Learning Center を使えば Datadog の機能を無料でお試しできる｜Hajime Koshiro / System Developer｜note
クラウド型のシステム監視サービス である Datadog は The Datadog Learning Center というオンライン学習サービスを提供しています。 The Datadog Learning Centerこの無料のサービスに登録すると、 Datadog の機能 や クラウド時代の監視 の考え方について学ぶことができます。 例えば、 APM についてのコースである Introduction to Application Performance Monitoring では、下図のように テキスト や ラボ 型 の教材を使って APM の概要について学ぶことができます。 APM のオンラインコースラボ型 になると、下図のように Terminal や IDE 、デモアプリ や Datadog のトライアルアカウント を使って実際に APM を使用しながら設定方法や機能の特徴を学ぶこ
何度も挫折してきたE2Eテストだけど、今後はDatadog Synthetics Testsが良さそうかも - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 20 の記事です。 はじめに 株式会社リブセンスの転職会議事業部Webエンジニアの @ishitan-liv です。 今回は、過去に転職会議でも導入しようとして挫折してきたE2Eテストについて書きます。 E2Eテストを自作するか、SaaSを使うのかで比較した結果と、Datadog Synthetics Testsの使い方を軽く紹介したいと思います。 なお、この導入については完全に個人プロジェクトとしてやっております。 リブセンスではエンジニアの権利として毎月10%の技術投資枠確保というものがあり、Googleの20%ルールのようなもので、約20日勤務だと想定して2日間は興味のある技術的なことに使えます。 grow.google はじめに このブログ記事を読むと得られる(と思われる)もの 今回書かないこと 導入検討
[アップデート]AWS Compute Optimizerで監視ツールのエージェントからメトリクスデータを取得できるようになりました | DevelopersIO
こんにちは、コンサルティング部の南です。 引き続きラスベガスから最新アップデートをお届けします！ AWS Compute OptimizerでDatadog、Dynatrace、Instana,New Relicのエージェントからのメトリクス取得をサポートしました！ アップデート内容 AWS Compute OptimizerではCloudWatch Agentから取得したメモリの使用率に関するメトリクスを利用することでより効果的な最適化の選択肢を知ることができます。 今回のアップデートでCloudWatch Agentだけではなく、Datadog、Dynatrace、Instana, New Relicのエージェントから取得できるメトリクスも対応となったことで、二重にエージェントを入れる必要が無くなりました。 設定方法 マネジメントコンソール上での設定方法を確認します。 「AWS Com
![[アップデート]AWS Compute Optimizerで監視ツールのエージェントからメトリクスデータを取得できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/add949bfbfe34ccb171872dfa0a152f5e144450e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022.png)
Datadogを使った不正ログインのモニタリングの実装
Datadogのセキュリティモニタリングを使った不正ログイン検知の実装方法について
Argo Rolloutsを導入してカナリアリリースを実現する - ZOZO TECH BLOG
はじめに こんにちは。計測プラットフォーム開発本部SREブロックの纐纈です。今年の4月に入社し、ZOZOMATやZOZOGLASSの運用改善に取り組んでいます。また、今年の夏US向けにZOZOFITをリリースしましたが、そちらの機能追加にも今後関わっていく予定です。 計測システムでは最近Argo Rolloutsを導入してカナリアリリース、自動ロールバックを実現しました。本記事では、その具体的な導入方法と効果についてお伝えします。 目次 はじめに 目次 Argo Rollouts導入前のリリースの問題 カナリアリリースの導入 導入後の効果 ツールの選定 Argo Rolloutsについて DeploymentからRolloutへの移行 1. 既存のDeploymentを参照するRolloutリソースを作成して、Podを立ち上げる 2. HPAの対象をDeploymentからRolloutに
Datadog メトリクスモニター作成入門
Datadog はモニタリング関連の SaaS ではおそらく最も利用されているサービスでしょうが、公式ドキュメントが豊富にある割には何から読み始めれば良いかわかりにくく、慣れるまでの道が険しい印象です。 本エントリーでは、Datadog が既に導入されている組織で、Datadog モニターを使って監視をしたいけど、モニターの設定方法がよくわからないといった方を対象に、メトリクスモニターの作成に焦点を絞って解説していきます。なお、あくまで Datadog の使い方についての解説であり、どのようなモニターを設定すべきかについては触れません。 メトリクスの収集についても触れたかったんですが、力尽きたので、メトリクスの収集については気が向いたら別エントリーを書きます。 アジェンダ メトリクスモニターの作成方法の基本 クエリの定義について クエリの評価期間・評価方法・アラート条件の指定 クエリの結果
The OpenSSL punycode vulnerability (CVE-2022-3602): Overview, detection, exploitation, and remediation | Datadog Security Labs
emerging vulnerabilities The OpenSSL punycode vulnerability (CVE-2022-3602): Overview, detection, exploitation, and remediation November 1, 2022 emerging vulnerability On November 1, 2022, the OpenSSL Project released a security advisory detailing a high-severity vulnerability in the OpenSSL library. Deployments of OpenSSL from 3.0.0 to 3.0.6 (included) are vulnerable and are fixed in version 3.0.
Datadog Japan、クラウドコストやセキュリティマネジメントの新ツール
Datadog Japanは11月1日、「Cloud Cost Management（クラウドコストマネジメント）」、「Cloud Security Management（クラウドセキュリティマネジメント）」、「Continuous Testing」の3製品の提供開始を発表した。 クラウドアプリケーション向けの監視およびセキュリティプラットフォームを提供するDatadog Japanは11月1日、Datadog Japanは11月1日、「Cloud Cost Management（クラウドコストマネジメント）」、「Cloud Security Management（クラウドセキュリティマネジメント）」、「Continuous Testing」の3製品の提供開始を発表した。 これらは、先月の18日および19日、米ニューヨークで開催されたDatadogの年次カンファレンス「Dash 2022」
zx + Datadog + GitHub Actions でフロントエンドのコードベースの健全性を可視化する
フロントエンドのダッシュボードを作ってみたらいい感じだったので紹介です。 作ったもの zx と Datadog、GitHub Actions を使って以下画像のように、フロントエンドのコードベースの各指標を可視化するダッシュボードを作りました。 値はデモ用に書き換えています 現在、計測している指標はこちらです。 Vue SFCファイルにしめるTypeScriptの割合 Vue SFCファイルにしめるComposition APIの割合 strict: trueにした場合のType Errorの数（tsc & vue-tsc） Jestの各種カバレッジ 各指標は毎朝9時に更新していて、時系列での推移も確認できます。 なぜ作った？ 技術的負債解消等コードベースのリファクタリングの活動は、機能追加に比べ進捗を把握しにくい、成果が伝わりにくいという問題があり、それを解消したいと考えたからです。 こ
Kubernetes HPA External Metrics の事例紹介 | メルカリエンジニアリング
こんにちは、メルカリMicroservices SREチームの mtokioka です。Embedded SREとしてマイクロサービスのチームに参加し、サービスの信頼性向上や自動化などの業務に従事しています。 メルカリでは Kubernetes Horizontal Pod Autoscaler（以下、HPA）を用いて pod のオートスケールを実現しています。しかし、標準でサポートされる CPU 使用率を用いたオートスケールでは不十分なケースがあり、そのような場合に External Metrics として Datadog のメトリクスを用いることでより柔軟なオートスケールを実現することができます。 これまでいくつかの External Metrics を実際に HPA で利用してきたので、導入事例を実際に適用した順番に紹介したいと思います。 事例 1：Container 別の CPU
[Datadog]Database MonitoringでAurora MySQL 8のクエリをモニタリングしてみた
[Datadog]Database MonitoringでAurora MySQL 8のクエリをモニタリングしてみた投稿者: adachin 投稿日: 2022/02/282022/02/28 DatadogのDatabase Monitoringを検証しているのだが、ダッシュボードの使い方がまったくわからん。MySQL 8は対応してた。 — adachin👾SRE (@adachin0817) February 28, 2022 というわけで毎度Datadogの設定にハマる私ですが、今回は去年の10月頃にリリースされたDatadogの新機能である Database Monitoring を利用してAurora MySQL 8のクエリをモニタリングしてみました。Datadogのドキュメントとプラスして補足も兼ねてブログしたいと思います。 https://www.datadoghq.com
DataDog APM を Go の HTTP アプリケーションにフレキシブルに適用する - Nature Engineering Blog
ソフトウェアエンジニアの北原です。 Nature ではモニタリングサービスとして DataDog を使用しています。また、DataDog APM を利用し、HTTPアプリケーションとしてのメトリクスの収集を行っています。 DataDog APM として、どのようなことができるかは、クラスメソッドさんの記事も参考になります。 今回は、Nature の API サーバに DataDog APM を適用するにあたり、オフィシャルのライブラリである github.com/DataDog/dd-trace-go パッケージにプルリクエストを出しマージ、リリースされたのでその説明をします。 github.com github.com まず dd-trace-go では、net/http, Gin, Gorilla Mux, Gorm などメジャーなパッケージに対し簡単に導入できるよう準備がされています
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Datadogの設定をTerraformで書いてGit管理した話 | ドクセル
セキュリティを後回しにできない――、Datadog JapanがDevSecOpsを実現する3つの新製品を紹介
