Cloudwatch Logs Insights の parse 関数の使い方 - Qiita
最近プロダクション環境でFARGATE on ECSを導入しました。この場合ログはCloudwatch Logsに送られることになります。 ログから簡単なデータ集計をしたい場合に昨年発表されたCloudwatch Logs Insightsが使えるのではないかと思い試してみたところ、非常に便利だった、かつちょっとparse関数に手間取ったので備忘録がてら残しておきます。 Cloudwatch Logs Insightsとは (詳細は公式ドキュメントに任せて、便利なところを) Cloudwatch LogsのデータをWebコンソール上から確認する場合、これまではLog Group内のLog Streamを指定しなければフィルタがかけられませんでした。 FARGATEで複数コンテナが動く場合、コンテナ1つ1つに対してLog Streamが作られるため、APIコンテナが4つ稼働していた場合、4つ
【アップデート】Amazon Auroraでスロークエリや一般ログがCloudWatch Logsへ出力可能に | DevelopersIO
大栗です。 先程Amazon Auroraのスロークエリログ、一般ログ、エラーログをCloudWatch Logsへ出力可能になりました。内容についてレポートします。 Announcement: Amazon Aurora Publishes General, Slow Query and Error Logs to Amazon CloudWatch CloudWatch Logsへのログファイル出力 MySQL互換Auroraでは、以下のログを出力しています。 監査ログ エラーログ 一般ログ スロークエリログ この中で監査ログは先行してCloudWatch Logsへ出力可能になっていました。またMySQLやMariaDBでは上記ログをCloudWatch Logsへ出力可能になっていたため、Auroraでも待望されていた機能でした。 RDSのMySQL/MariaDBでログをClou
AWS CLIでCloudwatchのアラートを設定してみた
こんにちは！Tamaです！ 今回はCloudwatchのアラートの作成をCLIで行っていきたいと思います。 まずはアラームを作成するにあたり必要な情報を取得します。 cloudwatchのlist-metricsコマンドで確認することが出来ます。 # aws cloudwatch list-metrics { "Metrics": [ { "Namespace": "AWS/EC2", #名前空間 "Dimensions": [ #リソース { "Name": "InstanceId", "Value": "i-b3dfeb16" } ], "MetricName": "CPUUtilization" #メトリクス名 }, #省略
(小ネタ) AutoScaling で増減した EC2 インスタンスに動的に CloudWatch Alarm を設定 - エムスリーテックブログ
こんにちは、エムスリーエンジニアの園田です。 AWS の AutoScaling で増減する EC2 インスタンスに対して CloudWatch Alarm を動的に設定したくなることありますよね？ AutoScalingGroup のメトリクスで AutoScalingGroup 内の平均 CPU 利用率などを監視することはできますが、 個々のインスタンスそれぞれに対してアラームを設定することは（今のところ）できません。 正確には、設定したとしても AutoScaling で新しく起動したインスタンスには設定されませんし、 スケールインで削除されたからといって自動でアラームの設定が削除されることもありません。 そこで、 CloudWatch Event Rule と Lambda を使って増減するインスタンスに対して動的にアラームを設定するのを試してみました。（何番煎じかわかりませんが・
CloudWatchのカスタムメトリクスにsidekiqやunicornのプロセス監視を追加する - Qiita
はじめに いま携わっているプロジェクトでは、EC2インスタンスのモニタリングにCloudWatchを使用しています。 今回、sidekiqやunicornなどのプロセスもCloudWatchで監視できるようにしたのでまとめます。 AWSでの事前準備 今回はaws cliを使ってCloudWatchにカスタムメトリクスとしてプロセス数を送信します。 IAMロールの作成や、EC2インスタンスへのポリシーのアタッチなどの事前準備については以下の記事が参考になります。 Run Commandで複数のEC2インスタンスのカスタムメトリクスを一括設定 ｜ Developers.IO プロセス監視のシェルスクリプト SSMを使わないのであれば、以下スクリプトをサーバに置いてcron設定するだけでもOKです。 主にこちらの記事を参考にさせていただきました CloudWatchでEC2上のプロセス監視 -
CloudWatchでエラーログの内容を通知させたい - Qiita
#前置き CloudWatch Logsの収集対象としているログにErrorという文字列が出力されたらSNSで通知したい。 CloudWatch Logsのロググループにメトリクスフィルタを設定し、このメトリクスが所定のしきい値を超えたらSNSへ連携するアクションをCloudWatch Alarmとして設定すれば実現できる。しかしこの方法だとErrorという文字列が出力されたことは認識できるが、ログの内容までは通知されない。 #CloudWatch Alarm まず、CloudWatch AlarmからSNSに渡される情報を見てみよう。 { "AlarmName": "sample-error", "AlarmDescription": "sampleでエラーが発生しました。", "AWSAccountId": "xxxxxxxxxxxx", "NewStateValue": "ALARM
CloudWatch alertをLambdaでSlackに通知する - アクトインディ開発者ブログ
morishitaです。 アクトインディではAWS上でサーバを運用しており、監視には CloudWatch も活用しています。 CloudWatchではAmazon SNSを通じて メールやSMS(Simple Message Service)にアラートの通知を 送信することができます。 それはそれで便利なのですが、やはりみんな大好きSlackにも通知したいところです。 標準ではAmazon SNSの通知先としてSlackは用意されていないのですが、Amazon Lambdaを利用すると可能になります。 今回はその方法について紹介したいと思います。 全体像はこんな感じです。 Slackの設定 Incoming Webhooksの設定をします。 通知したいworkspaceのCustom Integrations設定画面（/apps/manage/custom-integrations）より
できるだけシンプルな仕組みで簡単にEC2の自動起動・停止を実現したい！ | DevelopersIO
こんにちは、このすばのアニメ新企画が決定してテンションが上がっている城内です。 はじめに AWS上でシステムを構築していると、インフラ構築中やアプリ開発中などは、コスト削減のために使わないリソースは極力止めておきたいと考えるかと思います。 私もEC2で大きめのインスタンスを立てているときなどは、結構気になります。 先日も環境構築をしていて、夜や週末にEC2を止めておきたくなり、でも手動でやるのはなーと思い、軽くググってみました。 aws ec2 自動 起動 停止 - Google 検索 まあ、よくある要望なのでやり方はたくさん出てきたのですが、別に運用で使うわけでもないため、ササッとやりたいですし、そのために余計なリソースも使いたくないと考えました。 で、まずは以下の記事を参考に作ってみました。 EC2インスタンスをスケジュールで自動起動・自動停止させる(定時出社・定時退社) ただ、上記の
CentOS7にCloudWatchエージェントを導入し、カスタムメトリクスを収集する | 技術情報ブログ | マネージドホスティングのディーネット
どうも、相変わらずSKYRIMがアナザースカイな森屋です。 CloudWatchは監視サーバ不要で様々なAWSサービスの監視を行えるため、非常に強力なツールです。 しかし、例えばEC2インスタンスのメモリ使用率など、デフォルトでは収集できないデータ(メトリクス)が有るんですね。 こうしたメトリクスを収集する文脈において、しばしばカスタムメトリクスを収集すると言われます。 カスタムメトリクスを収集する方法としては、収集スクリプトを作ってCloudWatchに投げ込む方法と、今回取り扱う「CloudWatchエージェント」に収集してもらう方法がメジャーかと思います。 本記事の執筆にあたって使用した環境は、東京リージョンで稼働する「CentOS7 64bit」です。 とはいえ、他のリージョンやOSでも、ところどころ読み替える必要はありますが、使える記事になっていると思います。 大まかな流れ 公式
AWS EC2 に EC-CUBE 3 をインストールした時のメモ - Qiita
# インストール済のものが無いか確認 $ yum list installed | egrep 'httpd|php|mysql' # $ $ rpm -qa | egrep 'httpd|php|mysql' # $ # Apache を yum でインストール。2.4 系が入ります # httpd-devel も入れないと apxs がインストールされません $ sudo yum install httpd httpd-devel # PostgreSQL を yum でインストール。9.2 系が入ります $ sudo yum install postgresql postgresql-devel postgresql-server # PHP は yum では無くソースからインストール。なんとなくそっちの方が楽そうだったので $ cd /usr/local/src/ # http:/
Cloud Watch Agent を使用したハンズオン - Qiita
###アジェンダ ハンズオンの準備 ハンズオンのシナリオ ハンズオンで構築する構成図 ハンズオン 結果確認 オプション お片づけ ###ハンズオンの準備 ※動かすことを主に置いているため、IAMは「Administrator」を付けています 権限を最低限に絞りたい場合は以下をご参考に設定して下さい IAMユーザーに付与する権限 ： AmazonEC2ReadOnlyAccess + AmazonSSMFullAccess EC2に付与する権限 ： AWS公式ドキュメント参照 ###ハンズオンのシナリオ CloudWatch Agentを使ってデフォルトのCloudWatchでは取得出来ないEC2のメトリクスログを収集する ###ハンズオンで構築する構成図 ###ハンズオン ####SSMエージェントのアップデート CloudWatch AgentはSSMのRun Command
新しいCloudWatch AgentでEC2インスタンスのメモリ使用率を監視する - Qiita
この記事は OpsJAWS Advent Calendar 2017 19日目の記事でした。 2018/10/01 時点の情報にUpdateしました。 2020/09/19 yum でのインストール方法を追記 #はじめに 2017年の12月に、新しいCloudWatch Agentが登場しました。 https://aws.amazon.com/jp/about-aws/whats-new/2017/12/amazon-cloudwatch-introduces-a-new-cloudwatch-agent-with-aws-systems-manager-integration-for-unified-metrics-and-logs-collection/ これまでディスク使用量やメモリ使用率といった仮想マシン上のメトリックについては CloudWatch Monitoring Scri
AWS のリソースを監視して Slack に通知する方法 (または cloudwatch-alarm-to-slack の使い方)
AWS のリソースを監視して Slack に通知する方法 (または cloudwatch-alarm-to-slack の使い方)AWSCloudWatchSlackserverless これは何？ AWS のリソース監視を行い、アラートを Slack に通知する方法をまとめました いろいろやりようはあると思いますが、今回はすべて AWS の機能でまかないます 具体的には、Cloudwatch でアラートを設定し、Lambda から Slack に通知します さらにいうと、cloudwatch-alarm-to-slack という既存の Serverless Application Repository を使います 前提 Serverless Application Repository （以下 SAR）という、あらかじめ構築された Lambda スタックをカタログから選ぶだけで簡単にデプ
LambdaのBlueprintを使って、CloudWatchのアラームをSlackに投稿 - サーバーワークスエンジニアブログ
こんにちは。運用2課の坂本(@t_sakam)です。 運用しているEC2のCPU使用率をAWS マネジメントコンソールに入らずに、「Slackで簡単に確認できるといいなぁ」と思っていたところ、「Lambda」の「Blueprint」にいいものがありました。 Blueprintは日本語で「青写真」。計画や設計図、という意味で使われています。LambdaのBlueprintは、「イベントソース※1」の設定と「Lambda Functionのコードのテンプレート」の2つがセットになったものです。このセットを使うことで、AWSの他のサービスとの連携を一から考えたり、コードを一から書かなくて済みます。Lambdaを使ったベストプラクティスがせっかくデフォルトで用意されているので、今回のようにやりたいことが既にBlueprintにある場合は、使わない手はありません。 ※1 Lambda Functio
CloudWatchのアラームをSlackに通知する(Serverless Application Repositoryでやってみる) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Serverless Application Repository とは re:Invent 2017で発表された Serverless Application Repository が正式にリリースされました。 AWS Serverless Application Repository Now Generally Available https://aws.amazon.com/jp/about-aws/whats-new/2018/02/aws-serverless-application-repository-now-genera
CloudWatch AgentでEC2のメトリクスとログの収集
AWSの CloudWatch Agent は、AWS Systems Managerと統合されて Amazon EC2からメモリ使用率など標準外のメトリクスと、ログの両方を収集することができます。 今回、AWS Systems Manager から操作して、CloudWatch Agent でEC2からメトリクスとログを収集できるようにします。 IAM Roleの作成EC2用のIAM Roleを作成します。EC2上で CloudWatch Agent 設定を行い作成した設定ファイルをSystems Manager Parameter Store に保存するIAMロールと、CloudWatch Agent を実行しメトリックスを取得する各EC2サーバー用のIAMロールの2種類を作成します。 エージェント設定ファイルを Systems Manager Parameter Store に保存す
新しいCloudWatch Agentでメトリクスとログの収集が行なえます | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程新しいCloudWatch Agentが発表されました。AWS Systems Managerと統合されてメトリクスやログの収集を行えますのでご紹介します。 CloudWatch Agent 今まではEC2の詳細なメトリクスをCloudWatch上で確認するためには。collectdのCloudWatchプラグインやCloudWatch Monitoring Script、または自身のカスタムスクリプトなどでデータを収集してCloudWatchへアップロードする必要がありました。 collectdのCloudWatchプラグインを試してみた CloudWatch Monitoring ScriptでDiskUsageやMemoryUsage等を取得 新しいCloudWatch AgentによりAmazon EC2から標準外のメト
[AWS][EC2]CloudWatchでメモリー使用率とかディスク容量とかロードアベレージとかをモニタリングしたい – ADACHIN SERVER LABO😎
[AWS][EC2]CloudWatchでメモリー使用率とかディスク容量とかロードアベレージとかをモニタリングしたい投稿者: adachin 投稿日: 2017/03/102017/03/10 最近のCloudWatchはすごい。ほんの数年前はリソース系(UI)見にくいとかあったのですが、 最近はかなり使いやすくなっています。 これならZabbixとかnagios建てる必要もないかも。 CloudWatchはデフォルトでメモリー使用率、ディスク、ロードアベレージを可視化することができません。なのでモニタリングスクリプトをぶちこまないとダメなので、今回はその設定をブログします。 ■環境 ・EC2(Amazon Linux) ■必要パッケージのインストールと設定
![[AWS][EC2]CloudWatchでメモリー使用率とかディスク容量とかロードアベレージとかをモニタリングしたい – ADACHIN SERVER LABO😎](https://cdn-ak-scissors.b.st-hatena.com/image/square/073c75fcf5b282e5ad4961a35e72d0683d6dc6fa/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Fblog.adachin.me%2Fwp-content%2Fuploads%2Fcloudwatch-notification-rules.png%3Ffit%3D592%252C282%26ssl%3D1)
Amazon CloudWatchとは：これからAWS監視を始める人へ
AWSを活用したシステム構築において、忘れてはいけないのがモニタリング環境の構築です。社内向けの業務システムであれ、あるいはお客様へ向けたアプリケーションサービスであれ、システムを効率よく安定して動かし続けることが何より大事であり、監視を行う最大の目的です。 しかし、果たしてAWSの監視をどんなツールで行うべきでしょうか。今回はAWSのモニタリングを始める際に選択肢の一つとなるAWS向けの監視ツール ”Amazon CloudWatch”について書きます。 Amazon CloudWatchってどんな監視ツール？ 詳細な説明は本家のサイトに記載されているので、是非そちらをご参照ください。 Amazon CloudWatch http://aws.amazon.com/jp/CloudWatch/ 情報が分散していることもありますので、こちらで簡単にまとめてみました。まずは、概要をつかんでい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Alarms on custom metrics in Autoscaling group | TO THE NEW Blog