CloudWatch Logs 取り込みデータ量の多いロググループ名の確認方法 | DevelopersIO
CloudWatch Logs のデータの取り込み利用費(DataProcessing-Bytes)の高さに悩まされることはありませんか？「地味に高いけど一体なんのログを CloudWatch Logs へ送っているんだろうか...」というときです。 今回は何のロググループにどれだけのサイズのデータが取り込まれているのかを可視化する方法を紹介します。 確認できること CloudWatch logs のデータ取り込み量（IncomingBytesメトリクス）の多いロググループを特定できるグラフを作成します。グラフ作成までの所要時間は約5分です。 また、日別にロググループ毎のログ取り込みデータ量も可視化できます。このグラフですと平日はログの取り込みが多いですが休日は少ないことがざっとわかります。 AWS CLI で実行したい場合は以下の記事をご参考ください。 確認手順 CloudWatchのダ
CloudWatch エージェントを使用してメトリクス、ログ、トレースを収集する - Amazon CloudWatch
バージョン 1.300031.0 以降を使用すると、CloudWatch Application Signals が使用可能になります。詳細については、「Application Signals」を参照してください。 バージョン 1.300025.0 以降では、OpenTelemetry または X-Ray クライアント SDK からトレースを収集し、それらを X-Ray に送信できます。 CloudWatch エージェントを使用すると、別途トレース収集デーモンを実行しなくてもトレースを収集できるため、実行および管理するエージェントの数を減らすことができます。 CloudWatch エージェントで収集したメトリクスは、他の CloudWatch メトリクスと同様に、CloudWatch でも保存して表示できます。CloudWatch エージェントにより収集されるメトリクスのデフォルトの名前空
Amazon ECS向けAmazon CloudWatch Container Insightsについて | Amazon Web Services
Amazon Web Services ブログ Amazon ECS向けAmazon CloudWatch Container Insightsについて 本記事は AWS のシニアソリューションアーキテクトの Sirirat Kongdeeによる寄稿記事です。 Amazon CloudWatch を利用することで、Amazon Elastic Container Service（Amazon ECS）のリソースを監視することができます。Amazon CloudWatchは、CPU やメモリの割り当てについてや、クラスター、サービスレベルでのリソース使用率のメトリクスを提供するサービスです。以前は、サービスとタスクについてカスタムモニタリングを有効にする必要がありましたが、CloudWatch Container Insightsを使用することで、すべての Amazon ECS リソースの監
(小ネタ) AutoScaling で増減した EC2 インスタンスに動的に CloudWatch Alarm を設定 - エムスリーテックブログ
こんにちは、エムスリーエンジニアの園田です。 AWS の AutoScaling で増減する EC2 インスタンスに対して CloudWatch Alarm を動的に設定したくなることありますよね？ AutoScalingGroup のメトリクスで AutoScalingGroup 内の平均 CPU 利用率などを監視することはできますが、 個々のインスタンスそれぞれに対してアラームを設定することは（今のところ）できません。 正確には、設定したとしても AutoScaling で新しく起動したインスタンスには設定されませんし、 スケールインで削除されたからといって自動でアラームの設定が削除されることもありません。 そこで、 CloudWatch Event Rule と Lambda を使って増減するインスタンスに対して動的にアラームを設定するのを試してみました。（何番煎じかわかりませんが・
AWS Step Functionsを利用してAWS BatchやFargateのタスクを起動する - たきざわの日記
この記事は、はてなエンジニア Advent Calendarの22日目の記事です。 qiita.com 最近は仕事で AWS Batch に触れることが多くなってきました。また、ちょっとしたスクリプトならFargate のほうが便利かもしれないということを同僚に教えてもらい、Fargateを利用してcronで実行している処理を置き換えられないか、ということを個人的に検討しています。今日はそこで得たちょっとした便利情報をご紹介しようと思います。 Step Functionsを試す AWS BatchにしてもFargateにしても、成功/失敗のハンドリングが少し難しいという課題があると考えていました。AWS Batchは24時間後にはジョブの実行結果がコンソール上から消えてしまいます。Fargateも、タスク終了後短期間でタスク一覧から消えてしまい、どこかに通知していない限りは「ジョブ/タスク
CloudWatchダッシュボードを利用してオートスケール環境の稼働状態を可視化してみた | DevelopersIO
はじめに AWSチームのすずきです。 Webアプリの実行環境としてオートスケール管理のEC2、RDS、ELBを利用するLAMP構成のシステムで、 CloudWatchダッシュボードを利用した、AWSリソースの稼働確認を試みる機会がありましたので、 紹介させていただきます。 環境 構成図 オートスケール設定 スケジュール設定を利用して、システムが利用されない夜間帯にスケールイン、EC2稼働数を抑制する設定としています。 日中はターゲットの追跡スケーリングを利用、ELB配下の1台のEC2あたりのリクエスト数、CPU負荷を一定以下に保つ設定としています。 CloudWatchダッシュボード ELB、EC2、RDSの稼働状態を確認できるダッシュボードを作成しました。 ELBリクエスト数 RequestCount ELBに到達したリクエストの合計数をAZ毎に表示します。 MultiAZ構成の各AZが
Amazon CloudWatch Logs Insightsでログの高速な分析が可能になりました #reinvent | DevelopersIO
大栗です。 現在re:Inventに来ています。新サービスラッシュに大忙しなのですがCloudWatch Logsの分析機能が登場したのでレポートします。 Amazon CloudWatch Logs Insights Amazon CloudWatch LogsにはAWSのサービスのログが大量に出力できます。VPC Flow Logs、Route 53 log、CloudTrail、ECSログなど様々なログがあります。これらのログを分析するためにはデータをエクスポートして分析を行う必要がありました。今回のアップデートによりログの分析をCloudWatch Logs上で行えるようになりました。 CloudWatch Logs Insightsでは数秒で大量のログデータを読み込み、クエリを発行でき可視化も行えます。CloudWatch Dashboardにクエリを追加することも可能です。 ク
EC2インスタンスの自動リカバリー設定を改めて説明する（CloudWatch Alarm) | DevelopersIO
一部条件付きですが、EC2インスタンスにアラームを設定して、StatusCheckFailedなどの特定条件で自動的に再起動させたりすることができます。 インスタンスを停止、終了、再起動、または復旧するアラームを作成する - Amazon CloudWatch インスタンスを停止、終了、再起動、または復旧するアラームを作成する - Amazon Elastic Compute Cloud このブログでも過去に紹介している記事がいくつもあるのですが、時間もそこそこ経っているので、改めて紹介したいと思います。 【新機能】EC2 Cloudwatchの新機能「Auto Recovery」を使ってみた ｜ Developers.IO 【新機能】CloudWatchのアクションにEC2インスタンスの再起動が追加されました！ ｜ Developers.IO EC2 のAuto Recoveryが東京リ
SplunkがAWS専用「Splunk Insights for AWS Cloud Monitoring」リリース。詳細な運用情報をビジュアルにダッシュボードで表示
SplunkがAWS専用「Splunk Insights for AWS Cloud Monitoring」リリース。詳細な運用情報をビジュアルにダッシュボードで表示 データ分析ツールを提供するSplunkは、AWSの運用情報を分析するツール「Splunk Insights for AWS Cloud Monitoring」を発表しました。 Splunk Insights for AWS Cloud Monitoringは、AWSの多様なログや構成情報、例えばCloud WatchやCloud Trail、AWS、Amazon S3、Amazon VCP Flow Logs、Amazon Cloud Front、Amazon ELB、Amazon Billingなどの情報を、あらかじめSplunkで定義された分析手法に基づいてダッシュボードに表示し、ネットワークトラフィックやストレージ容量
Terraformを利用したCloudWatch Alarmの管理 | DevelopersIO
はじめに こんにちは、中山です。 最近CloudWatch Alarmを大量に設定する機会がありました。マネジメントコンソールでポチポチやるのはさすがにツライので、その設定作業にTerraformを利用しているのですが、なかなか便利だったので本エントリでご紹介したいと思います。 TerraformでCloudWatch Alarmを管理するメリット 以下に私が考えるメリットを記載します。 1. CIツール/サービスと連携できる 当然ですがTerraformのコードは単なるテキストファイルなのでVCSでバージョン管理可能です。つまり誰が/何時/何を目的に変更したのか管理できます。もちろんCloudTrailを利用すれば同じように変更履歴を管理できますが、検索性などを考慮するとこの用途にはVCSの方が向いていると思います。また、GitHubなどのリポジトリサービスで管理しておき、お好みのCIツ
boto3を使ってEC2のCloudWatchアラームを一括設定する | DevelopersIO
こんにちは、菊池です。 EC2の基本的な監視として、CloudWatchのアラームを使うことはよくあると思います。EC2のステータスチェックや、CPU利用率などを監視して閾値超過時にSNSへ通知することなどは、マネージメントコンソールからも簡単に設定可能です。 しかし、EC2のインスタンス数が増えてくると、1つ1つアラートをマネジメントコンソールから設定するのは面倒になりますので、一括で設定するPythonスクリプトを作成しました。 設定内容と事前準備 今回設定するアラームは以下の2つです。 StatusCheckFailed_System 5分ごとにチェックし、2回連続で検知したらアラート発生 SNS Topicへの通知と、AutoRecoverによる復旧を行う CPU_Utilization 5分ごとにチェックし、2回連続で80%を超過したらアラート発生 SNS Topicへの通知を行
LambdaのBlueprintを使って、CloudWatchのアラームをSlackに投稿 - サーバーワークスエンジニアブログ
こんにちは。運用2課の坂本(@t_sakam)です。 運用しているEC2のCPU使用率をAWS マネジメントコンソールに入らずに、「Slackで簡単に確認できるといいなぁ」と思っていたところ、「Lambda」の「Blueprint」にいいものがありました。 Blueprintは日本語で「青写真」。計画や設計図、という意味で使われています。LambdaのBlueprintは、「イベントソース※1」の設定と「Lambda Functionのコードのテンプレート」の2つがセットになったものです。このセットを使うことで、AWSの他のサービスとの連携を一から考えたり、コードを一から書かなくて済みます。Lambdaを使ったベストプラクティスがせっかくデフォルトで用意されているので、今回のようにやりたいことが既にBlueprintにある場合は、使わない手はありません。 ※1 Lambda Functio
CloudWatchのアラームをSlackに通知する | // sakura note
以前から挑戦したかったAWSの課題のひとつを解決してみようと思います。 AWS EC2やRDSなどのステータスを監視してアラームを上げてくれる、大変便利なCloudWatchですが、管理コンソール以外からアラームを確認する方法としては、SNSトピックに通知した後に自分でSNS連携のアプリケーションを作るなどして対応する必要がありました。 今回はこのアラームを、Slackの任意のチャンネルにポストすることをゴールにしてみます。 対象読者 CloudWatchでサービスのモニタリングを行いたい人 アラームをSlackのエンジニアチャンネルにリアルタイムで通知したい人 AWS Lambda って取っつきにくそうだと思ってる人 EC2インスタンスで同様のことを実装している人 なぜ Lambda なのか EC2ではオーバースペックすぎる 私も今回はじめてAWS Lambdaを使ったのですが、知る前は
[CloudWatch] メトリックの保持期間が14日→15ヶ月に延長されて、グラフ機能も強化されました | DevelopersIO
はじめに AWSチームのすずきです。 2016年11月1日、AWSが提供するモニタリングサービスの Amazon CloudWatch のアップデートがありました。 1 確認できたアップデート内容について、紹介させていただきます。 アップデート内容 メトリクスの保持期間 メトリクスの保持期間が 従来の14 日から 15 ヶ月に延長されました。 2016年11月1日時点、連続稼動中のリソースの稼働情報、「5分」測定値は2016年9月1日0時、「1時間」測定値は2016年7月9日0時まで遡ったデータを確認することが可能でした。 15ヶ月(455日)保持されるメトリックの値は1時間単位のものとなります。 1分毎の測定値は15日、5分毎の測定値は63日で消去されます。 63〜455日以前の稼働情報を確認する場合、グラフ表示の期間を「1時間」に変更してご覧ください。 UIの改善 カレンダーウィジェッ
radiosondeを使ってCloudWatch Alarmを簡単に設定する | DevelopersIO
はじめに 先日radiosondeというツールがリリースされていることを知りました。DSLを使ってCloudWatch Alarmを簡単に設定/更新するツールです。CloudWatch AlarmはAWSマネージメントコンソールで直感的に簡単に設定が出来ますが、同じような設定を大量に作成するのは結構大変です。このツールを使うととても楽に設定出来るのでは？と思ってやってみました！ インストール 私の環境はMacBook Air(OS X 10.9.4)です。bundleを使ってさくっとインストールしてみます。 $ bundle init $ vi Gemfile gem 'radiosonde' $ bundle 使ってみる radiosondeを使うためには認証情報を設定しておく必要があります。 $ export AWS_ACCESS_KEY_ID="YOUR_ACCESS_KEY" $
Zabbixサーバーの負荷を圧倒的に下げた話 - サーバーワークスエンジニアブログ
初めまして今年入社した長谷川です。 新入社員として最初の仕事である、Zabbixサーバの負荷を下げた話を書きたいと思います。 実はこのプロジェクトは、まだ新人研修を行っている入社１ヶ月目の時に、Rubyが得意？という理由でアサインされ、１週間で構築と実装しました。以上自慢です。 構築したシステムは、CloudWatch経由でしか監視ができないRDSやSQSなどのサービスのメトリクス（監視データ）を大量にZabbix取り込む場合の解決方法の一つだと思います。今後同じ問題に直面した方々の参考になれば幸いです。 従来のシステムの状況 従来のシステムは、Zabbixサーバがインストールされている1台のEC2インスタンスが、CloudWatchから値を取得しているだけのシンプルな構成でした。 ZabbixサーバーはCloudWatchから各サービスのメトリクスを取得するRubyスクリプトを実行し、そ
【そんなときどうする？】CloudWatchのデータを2週間以上残したい！ Lambda編 - サーバーワークスエンジニアブログ
こんにちは。CS課の坂本です。 サーバーワークスでは、技術ブログ執筆後のレビュー依頼を「Questetra」でおこなっています。通常は3人からOKが出ると「公開」できます。公開OKであっても、レビューしてくれた人から何かコメントが入っていることもあります。 前回書いた記事のときは、こんなコメントがありました。 ------- [2016-04-18 11:58] 良かと思います。EC2じゃなくてLambda使いたいなぁ…(ﾎﾞｿｯ) 「EC2でスクリプトをcron実行している箇所についてLambdaにしたら？」という指摘です。やっぱり時代は「Lambdaでサーバーレス」のようです。 確かにLambdaは昨年スケジュールベースでの実行が可能になりましたので、cronで実行しているスクリプトはLambdaに置き換えられそうです。 ということで、今回は前回EC2でcron実行していた箇所をLam
AWS CloudWatchのカスタムメトリクスをDatadogで確認【cloudpack大阪BLOG】 | iret.media
Datadogとは、監視のSaaSで、様々な形式でグラフ表示できたりします。 タグなどでグルーピングもできるので、簡単なデータ解析にも役立ちます。 AWSとの親和性も高く、簡単な設定でCloudWatchのデータを監視することができちゃいます。 そして、CloudWatchでは最大2週間しかデータを保持しませんが、 Datadogに登録することでより以前のデータをみることもできます。 詳しくは本家サイトで。 今回は、CloudWatchのカスタムメトリクスをDatadogで表示してみようと思います。 以下、手順です。 カスタムメトリクスを設定する メモリ監視を追加してみます。 導入環境はAmazon Linuxで。 $ uname -a Linux ip-10-0-0-194 4.1.10-17.31.amzn1.x86_64 #1 SMP Sat Oct 24 01:31:37 UTC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Ops系サービスが更に便利になる中、それでもなおZabbixとセットで考えたほうが良いのか？
Amazon CloudWatch Integration Guide | PagerDuty
