cloudpackブログ - SQS & CloudWatch & Auto Scaling、その後
SQSとCloudWatchとAuto ScalingのようにSQSとAuto Scalingを使って、 複数インスタンスでクロールする仕組みを運用しています。 はじめは、SQSのキューのサイズをCloudWatchに登録のようにCloudWatchのカスタムメトリクスを使って、 SQSのキューのサイズ(メッセージ数)とAuto Scalingの連携を取っていたのですが、 CloudWatchでSQSのメトリクスが取得可能にのように、 SQSのメトリクス自体が標準でサポートされるようになりました。 上記より、現在はAuto Scalingのトリガーとなるメトリクスはカスタムメトリクスではなく、 標準のSQSのメトリクス(ApproximateNumberOfMessagesVisible)を利用するように変更しました。 現状、下記のような仕組みで処理をしています。 SQSにクロールしたい対
cloudpackブログ - SQSのキューのメッセージが処理されなくなったら通知(CloudWatch)
キューのメッセージが0になったときに通知することは、よくやると思いますが、ここでは、キューのメッセージが処理されなくなったときの通知に関して紹介します。 当然、CloudWatchを利用するわけですが、キューのメッセージが処理されなくなった状態の確認は、アプリケーションが受信したメッセージ数を表す下記のNumberOfMessageReceivedを確認することで可能です。 キューのメッセージが処理されなくなった場合は、NumberOfMessageReceivedが「0」になるはずです。 そして、このNumberOfMessageReceivedに対して、下記のようにアラームを作成します。 ここでは値が「0」になったら(メッセージが処理されなくなったら) アラーム状態になるように設定しています。 メールは下記のように、状態が「ALARM」、「OK」、「INSUFFICIENT_DATA」
cloudpackブログ - CloudWatchでSQSのメトリクスが取得可能に
SQSのキューのサイズがCloudWatchで見れますように。(カスタムメトリクスじゃなくて) #AWS77 #jawsugless than a minute ago via Tweet-Watch Favorite Retweet Replysuz-lab suz_lab AWS Management ConsoleのCloudWatchタブを見ると、 左のメニューの下部にSQSの項目があることが確認できます。 クリックすると、下記のメトリクスが取得できていることがわかります。 NumberOfMessagesSent SentMessageSize NumberOfMessagesReceived NumberOfEmptyReceives NumberOfMessagesDeleted ApproximateNumberOfMessagesVisible ApproximateNu
cloudpackブログ - SQSとCloudWatchとAuto Scaling
今回は、SQSのメッセージ数をCloudWatchにカスタムメトリクスとして登録し、そのカスタムメトリクスでAuto Scalingします。 仕様としては、一日一回の頻度でSQSに一気にメッセージを登録して、それを複数インスタンスで処理するものです。 メッセージ数が1以上になれば、10インスタンス立ち上げ、メッセージ数が0になったら、全てのインスタンスをターミネートするようにしています。 SQSのメッセージ数をCloudWatchにカスタムメトリクスとして登録する部分は、SQSのキューのサイズをCloudWatchに登録で、SQSのメッセージを処理するインスタンスは、SQSのキューのメッセージがなくなたらEC2インスタンスをシャットダウン下記で紹介しています。 (ちなみにここでは、シャットダウンはしないようにしています。) そして、今回もいつも通りPHP(AWS SDK)で実現してみました
cloudpackブログ - SQSのキューのサイズをCloudWatchに登録
Auto ScalingでSQSのキューサイズ(メッセージの数)に応じて、EC2インスタンスを増やすような仕組みを作る必要があり、その準備として、SQSのキューサイズをCloudWatchに登録する部分を作りました。 AWSアカウントはIAMユーザーを利用する点と、SQSとCloudWatchの許可ポリシーを付与する必要があります。 SQSはIAMのSQSとSimpleDBが利用出来るポリシーで紹介したものを使い、CloudWatchに関しては下記を利用すれば大丈夫です。 { "Statement": [{ "Action": "cloudwatch:*", "Effect": "Allow", "Resource": "*" }] } コードは下記のようになります。 まずは、共通設定系になります。 ▼common.php define("AWS_KEY" , "AAAAAAAA"); d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
