CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 - KAYAC engineers' blog
Lobiの吉村(moulin)です。今回はCloudWatch + SQSのバッチサーバ冗長化のために作成した「sqsjkr」についてご紹介します。また、sqsjkrはGo実装です。 github.com 目次 背景 sqsjkrについて 運用について 背景 バッチサーバーとは、マシンリソースの消費が高い処理を定期的に実行させたい場合、本体アプリケーションに影響が及ばないようにするために建てられるバッチ処理専用のサーバーを指し、Lobiでも様々なバッチ処理を実行するサーバーを建てています。 バッチサーバーはcrontabが設定されているものが1台、バックアップとして同じ構成でcrontabが設定されていないものが1台起動しており、cronを実行するサーバーに障害が発生した場合は、手動でcrontabをバックアップのサーバーに設定することでフェイルオーバーする運用をしていました。 しかし、バ
CloudWatch で ELB の「パーセンタイル統計」を可視化しよう - kakakakakku blog
今日は CloudWatch の話を書こうと思う．既に活用してる人も多いと思うけど，2016年11月の新機能リリースで各種メトリクスの「パーセンタイル統計」を可視化できるようになった． 「パーセンタイル統計」は凄く重要で，平均値だけをモニタリングしていると気付きにくい異常値に気付くことができる．例えば，ELB の Latency をモニタリングしている場合に，リクエストの 1% が非常にパフォーマンスが悪いとしても，平均値で見ると値が丸まってしまって，通常より少し遅い程度にしか見えないという場合がある．そんなときに「パーセンタイル統計」を活用できる． まだ全ての ELB に反映されていない 以下の記事を読むと，newly created ELB and ALB と書かれていて，新機能リリース以降に作成した ELB と ALB にしか対応していないように読み取れた． Amazon Cloud
Revolutionizing S3 Storage Management with 4 new features
We’re excited to announce new features to the growing portfolio of Amazon S3 Storage Management capabilities to help you better analyze and manage your storage. Today’s release includes: S3 Object Tagging – With S3 Object Tagging you can manage and control access for Amazon S3 objects. S3 Object Tags are key-value pairs applied to S3 objects which can be created, updated or deleted at any time dur
Announcing CloudWatch Metrics Price Reduction and New Volume-Based Pricing Tiers
We are reducing the base price of CloudWatch Metrics from $0.50 per metric per month to $0.30 per metric per month, a 40% reduction in price. In addition, we are introducing new volume-based tiered pricing with even lower prices per metric, with savings up to 96%. These will take effect in all regions beginning December 1, 2016. CloudWatch Metrics price will be reduced from $0.50 per metric per mo
Elastic Load Balancing: Support for CloudWatch percentile metrics
We are pleased to announce that Elastic Load Balancing now supports percentile metrics, providing customers with improved visibility into the performance of their applications. Load balancer metrics already support statistics such as average, minimum or maximum, which are useful for many metrics. Percentiles are particularly useful when applied to metrics that exhibit large variances, such as load
Amazon CloudWatch の更新 – メトリックス保存期間の延長とユーザーインターフェイスの更新 | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch の更新 – メトリックス保存期間の延長とユーザーインターフェイスの更新 Amazon CloudWatch は AWS リソースと AWS で実行しているアプリケーションをモニタリングするサービスです。これはメトリックスの収集とトラッキング、ログファイルのモニタリング、アラーム設定、AWS リソースの変更に対応することができます。 本日、AWS は CloudWatch に追加した複数の重要な強化機能をリリースしました。 メトリックス保存期間の延長 – CloudWatch ですべてのメトリックスを 15 か月間保存できるようになりました。 メトリックスの選択をシンプルに – CloudWatch コンソールで必要なメトリックスの検索と選択が簡単になりました。 メトリックスのグラフ化を改善 – 選択したメト
【新機能】S3のファイル数とバケットサイズがCloudWatchに追加されました | DevelopersIO
ども、大瀧です。 本日未明にS3の機能追加があり、ファイル数とバケットサイズがCloudWatchに追加されました！もう一つのアップデートであるS3 Event NotificationのDeleteイベント追加は以下のエントリーをご覧ください。 【新機能】S3 Event NotificationにDeleteイベントが追加されました ｜ Developers.IO 従来、S3バケットに保存しているファイルの数やバケットサイズは、個別にS3:Get*のAPIを呼び出して情報を取得する必要があり、特にサイズはファイル1つ1つのプロパティを見る方法しかありませんでした。今回のアップデートにより、AWS標準の監視サービスであるCloudWatchのメトリックス(監視項目)としてファイル数とファイルサイズの合計が取得できるようになりました。 設定方法 既定でS3の下記メトリクスがCloudWat
CloudWatch Logs Subscriptionsを利用したZabbixへのログ転送｜Developers.IO
はじめに 先日、CloudWatch Logs Subscriptionsという新機能の発表がありました。 CloudWatch Logsに記録されたログイベントをリアルタイムにKinesisへ投入する機能です。 これまでは、ログイベントを取得する場合、CloudWatch LogsのGetLogEvents APIにアクセスし一括でログを取得するしかありませんでした。 そして、このGetLogEvents APIには1アカウントあたり秒間10リクエストまで(上限緩和可)という制限があり、多くの種類のログを常に取得し続けたい場合は注意が必要でした。 今回、CloudWatch LogsからKinesisにログイベントを投入可能になったことにより、Kinesisストリームをポーリングするだけで常に最新のデータを取得できるようになりました。 また、KinesisはLambdaのイベントソースと
Amazon CloudFrontのトレンドをCloudWatchで監視する | DevelopersIO
ども、大瀧です。 初期費用なしのCDN(Content Delivery Network)サービス、CloudFrontを皆さん使っていますか? Webサイトを運用するときには「実際にどの程度アクセスが来ているのか」、「エラーは発生していないか」などをチェックすることになると思います。CloudFrontにはUsage Reportというアクセス数およびエラーリクエスト数を表示する機能があるのですが、1時間単位と粒度の荒い情報しか出すことができませんでした。 本日、CloudWatch(AWSの監視サービス)がCloudFrontに対応し、粒度の細かい情報の確認とアラーム設定ができるようになりました。 Amazon CloudFront Now Publishes Six Operational Metrics to Amazon CloudWatch こちらの機能を使い、CloudWat
CloudWatch のカスタムメトリクスで JVM の GC を監視する | はったりエンジニアの備忘録
JVM 上で動くアプリケーションを運用するには GC に気を配る必要があります。 GC をうまくチューニングするためには、まずは現状を知ることが大切です。 GC の統計情報は jstat -gcutil で取得することができます。試しに Jenkins のプロセスを見てみます。 $ pid=`sudo jps | grep jenkins | awk '{ print $1 }'` $ sudo jstat -gcutil ${pid} S0 S1 E O P YGC YGCT FGC FGCT GCT 0.00 57.68 21.33 66.26 99.51 73 0.179 4 0.271 0.450 この統計情報を定期的に取得してビジュアライズすれば GC の傾向がつかめます。この AWS 全盛期に昔ながらの RRDtool は使いたくないので、今回は CloudWatch でビジュ
CloudWatch Logsエージェントを検証してみた
先日リリースされたCloudWatch Logs、監視ツールを開発していた者としては注目せざるを得ません。 特に、ログ監視エージェントにはこだわりがあるので、CloudWatch Logsエージェントの細かな動作に興味をもちました。 そこで、今回はCloudWatch Logsエージェントを5つの観点から検証してみました。 はじめに ログ監視エージェントにとって重要な5つのポイントを考えてみました。 メッセージラッシュ ロングメッセージ ログローテーション 一時的な通信断 エージェント停止 メッセージラッシュ 障害発生時等に短時間に大量のメッセージが発生することをメッセージラッシュと呼びます。 このメッセージラッシュが発生した際にも、安定して動作してメッセージをロストせずに監視できることは、ログ監視エージェントにとって重要なポイントです。 そこで、メッセージラッシュを意図的に発生させ、ロス
Amazon EBS ボリュームのモニタリング - Amazon EBS
ボリュームステータスはボリュームステータスチェックに基づいており、ボリューム状態を反映していません。従って、ボリュームステータスではボリュームが error 状態 (例えば、I/O を受け付けできない) であることは判りません。ボリュームの状態についての詳細は、ボリューム状態を参照してください。 あるボリュームの整合性について心配しているわけではなく、そのボリュームに障害が発生した際にそのボリュームをすぐに利用できるようにしたい場合は、デフォルトの動作を上書きして、I/O を自動的に有効にするようにボリュームを設定することができます。Auto-Enable IO 属性 (API の autoEnableIO) を有効にしている場合は、ボリューム状態のチェックは引き続きパスされます。また、ボリュームに潜在的な障害があると判断されたが、そのボリュームの I/O が自動的に有効になったことを伝え
ELBの挙動とCloudWatchメトリクスの読み方を徹底的に理解する | DevelopersIO
よく訓練されたアップル信者、都元です。ELBはAWSにおけるWebシステムを構築する場合、ほぼ確実に利用するコンポーネントとして不動の地位を確立しつつあります。 利用方法としては、ELBを作成して配下にWebサーバを配置するだけというお手軽さがあり、非常に利用しやすいのも大きなメリットです。しかし、ELBの詳細な挙動について、しっかり理解できているでしょうか。本エントリではいつも利用しているELBについて、ちょっと深く突っ込んでみました。 ELBのロードバランシング戦略 ELBの配下には複数のAZにまたがるようにインスタンスを配置するのが一般的です。（cf. AWSにおける可用性の考え方） ELBを作成すると、DNS名が付与されますが、クライアントがELBにアクセスする際、まずこのホスト名をIPアドレスに変換するDNSの正引きリクエスト（下図中の緑色の矢印）を行います。digコマンドを使っ
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
CW: CloudWatchをデータ・ソースとして、Google Chartsでグラフ表示する - aws memo
うまい組み合わせだ。 cloudviz ：CloudWatchをデータ・ソースとして埋め込み可能なグラフを作成するのOSS。EC2とCloudWatchのAPIを使って取得したデータを、Google Interactive Charts(の Visualization API)を使ってグラフ作成する。Googleのデータソースライブラリを使ったPython製。 Cloudgrapher ：無償のCloudWatchダッシュボードで、cloudvizのエクステンションでもある。 GoogleCharts：Google製のデータ可視化ツール。 他にも似たようなものがある。 pyawschart 非常にCloudvizに似ているプロダクト AWS Monitor .NET製、Google Chartsを使用 Librato Metrics AWS marketplaceにも出ている。SiteS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elastic Load Balancing Adds New CloudWatch Metrics
GitHub - j3tm0t0/check_cloudwatch: Nagios Plugim for CloudWatch