How to manage log files using logrotate
Logs are records of system events and activities that provide valuable information used to support a wide range of administrative tasks—from analyzing application performance and debugging system errors to investigating security and compliance issues. Large-scale production environments emit enormous quantities of logs, which can make them more challenging to manage and introduces the risk of losi
Assigning Tags
OverviewTagging is used throughout Datadog to query the machines and metrics you monitor. Without the ability to assign and filter based on tags, finding problems in your environment and narrowing them down enough to discover the true causes could be difficult. Learn how to define tags in Datadog before going further. Tags can be configured in several different ways: In the Datadog Agent configura
Datadog のコスト最適化で月額費用を 30% 削減した - LayerX エンジニアブログ
バクラク事業部 Platform Engineering 部の uehara です。2023年4月に入社しました！ この記事では、直近で取り組んだ Datadog のコスト最適化の取り組みを紹介します。 概要 大きく2つの施策によって、Datadog の月額料金を 30% ほど削減しました。 毎月の利用量を事前コミットすることで単価を下げた ログ運用を見直すことでコストを約半分にした 利用量の事前コミット Datadog の一部機能では利用量を事前コミットすることで単価を下げることができ、価格表も公開されています。BILLED ANNUALLY が年契約、BILLED MONTH-TO-MONTH が月契約の単価です。 www.datadoghq.com オンデマンド料金と比較すると2割から3割ほど安くなっていることが分かります。 直近の利用実績から毎月必ず利用する分を算出し、MONTH-
Getting Started with Datadog
OverviewThe Datadog Agent can collect many metrics from NGINX instances, including (but not limited to):: Total requestsConnections, such as accepted, handled, and activeFor users of NGINX Plus, the commercial version of NGINX, the Agent can collect the significantly more metrics that NGINX Plus provides, like: Errors, such as 4xx codes and 5xx codesUpstream servers, such as active connections, 5x
なぜか遅いAPIをDatadog Continuous Profilerで調べて高速化した話 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 みなさんが関わっているシステムでなぜか遅くて悩まされている処理はないでしょうか？ 最近、遅いAPIをDatadog Continuous Profilerを使用して調べました。どのように問題解決までつなげたかを記事にまとめます。 www.datadoghq.com TL;DR 特定のAPIが遅い問題が発覚 Continous Profiler導入 Continuous Profilerで計測してみると・・・ 問題修正 実際のところ まとめ 参考 TL;DR 遅い処理を改善しようと思ったらまずは計測してみること。 計測することで実は単純な問題であったことに気付けるケースがたくさんあります。また、的はずれな推測を元にでたらめな変更を繰り返してしまう事態を防げます。 通常のDatadog APMで原因がわからない場合には、Continuous Profilerで可視
AWS Lambda+pythonからdatadogにカスタムメトリクスを送信 - Qiita
はじめに AWS Lambdaの関数からdatadogへカスタムメトリクスを送信する方法のメモです。今回の実装にはpythonを利用しました。 参考にした記事 datadog自身のブログ https://www.datadoghq.com/ja/blog/datadog-lambda-layer/ datadog社「カスタムメトリクス」 https://docs.datadoghq.com/ja/serverless/custom_metrics/ 実際にやったこと 関数の作成 まず関数を作成。ランタイムはpython3.8を作成 レイヤーを追加 オンプレサーバからpythonでカスタムメトリクスを送信するときはpipコマンドでdatadogライブラリを追加しますが、Lambdaなのでレイヤーを追加しておいてライブラリを使えるようにします。 datadog自身がレイヤーを用意してくれている
DatadogでLambdaの監視を行う方法_前編 | おにぃにぃのITブログ
Datadogを使ってAWSLambdaのメトリクス・ログ監視を行う機会がありましたので、備忘録を残したいと思います。 この記事では、監視対象のLambdaから監視データを取得するための設定について記載しています。監視設定を行う手順については後編に記載予定です。 Datadogの初期設定などについては以下のブログを参照いただければと思います。 Datadog のAWS監視にIAMロールを利用してみた １－１－１、DatadogのLambdaのメトリクス収集設定 DatadogのAWSインテグレーションタイルでLambdaのメトリクス収集設定が有効化されていることを確認します。 ・左ペイン「Integrations」→AWSアイコン(Amazon Web Service)をクリック (１)左ペインの項目でLambdaにチェックがあるか確認します。 この項目にチェックがある場合は、Datado
DatadogでAWS Lambdaの拡張メトリクスを取得する - サーバーワークスエンジニアブログ
はじめに DatadogでLambdaの監視を検討する際、以下のような情報の管理を考えると思います。 （番号は本記事のために便宜的に付与したもの） 標準的なメトリクスの収集 拡張Lambdaメトリクスの収集 ログの収集 カスタムメトリクスの収集 トレースの収集 本記事では、「2. 拡張Lambdaメトリクスの収集」と「3. ログの収集」の方法を紹介したいと思います。 拡張Lambdaメトリクスについて DatadogではDatadog Forwarder（後述）を導入することで、Cloud Watchの標準メトリクス以外のメトリクスを収集可能です。 拡張Lambdaメトリクスについては以下のページに詳細の紹介があります。概要詳細部分を引用します。 拡張 Lambda メトリクスは、AWS Lambda インテグレーションで有効になっているデフォルトの Lambda メトリクスを超えるビュー
Datadog の Log Rehydration™ による古いログの効率的な取得
ログからはトラブルの解決に必要な、非常に価値の高い情報を得ることができます。古いログを遡って調べることが必要になるケースは少なくありません。たとえば、セキュリティ監査を行う際に、何か月も前に作成された HTTP リクエストのログの中から、指定した複数の IP アドレスが含まれるものを、特定の期間だけ取り出して分析することもあります。あるいは、スケジューリングしたサービスがまったく実行されない場合に原因を調査したり、数か月前から続いているエラーに関連性がないか疑って徹底的に分析したりする際などに、コールドストレージにいつまでもあるような古いログを調べることが必要になるはずです。しかし、これらの古いログはアクセスすることも、トラブルの解決に使用することも簡単ではありません。ログの取得やクエリーに時間と費用がかかり、かなりの労力が必要になるからです。 ログの管理における課題古いログの管理には、ロ
Getting Started with Datadog
If your application exposes JMX metrics, a lightweight Java plugin named JMXFetch (only compatible with Java >= 1.7.) is called by the Datadog Agent to connect to the MBean Server and collect your application metrics. It also sends service checks that report on the status of your monitored instances. This plugin sends metrics to the Datadog Agent using the DogStatsD server running within the Agent
Datadog nginx Integration を試す - vague memory
※画像と内容は一切関係ありません Datadogのnginxインテグレーション設定を試してみます。 と言っても下記ページ通りで簡単に取得できます。 Datadog Docs - Datadog-NGINX Integration 取得できるメトリクスは以下になります。 nginx.net.connections nginx.net.reading nginx.net.request_per_s nginx.net.waiting nginx.net.writing nginx stub status 有効化 今回の環境は CentOS 6.7 に公式サイトから nginx をインストールしています。 # nginxインストール $ sudo rpm -Uvh "http://nginx.org/packages/centos/6/noarch/RPMS/nginx-release-cent
Datadog (dogコマンド) downtime編 - vague memory
Datadog公式のツール dog 使用方法まとめ downtime 編です。 目次 downtime Modes show 実行例 show_all optional arguments: 実行例 オプション無し current_only オプション post positional arguments: optional arguments: 実行例 オプション無し message オプション update 実行例 delete 実行例 downtime Modes downtime 設定を行います。 サブコマンド 説明 show ダウンタイム情報出力 show_all 全ダウンタイム情報出力 post ダウンタイムスケジュール作成 update ダウンタイムスケジュール更新 delete ダウンタイムスケジュール削除 show ダウンタイム情報を出力します。 usage: dog do
Terraform Datadog Provider を使用した Monitor のテンプレート化 - vague memory
Datadog Monitor の定義を Terraform で管理できます。 Provider: Datadog が、Datadog側がJSONで定義されており少々書き難いのと、 Monitor毎に同じ記載を繰り返す部分(通知本文や通知先)をテンプレート化できないものかと思い、考えてみた結果をメモ。 Terraform の Template Provider で実現します。 バージョンによっては動作しないですし、もっと良い方法・書き方が有りそうではあります。 目次 目次 要件 環境 ファイル構成 datadog_key.auto.tfvars datadog_monitor.auto.tfvars datadog_monitor.tf datadog_monitor_template.tf templates/ message.tmpl notify.tmpl 作成例 作成結果 要件 複
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Error Tracking for Backend Services
Resource Page
Monitor custom serverless metrics with the Datadog Lambda extension
API Reference
Downtimes