【AWS】障害時の調査事項まとめ ～ELB・ECS・RDS～ - Qiita
はじめに 現在はAWSで構築されたシステムの運用保守業務に携わっており、その一環として障害調査を行うことが多々あります。 少しは経験値が上がったため、障害が発生した際に初動で確認する事項をまとめてみました。 インフラ基盤観点で障害調査を行うさいの参考になれば幸いです。 前提条件 当システムの構成は以下となっているため、それに即した調査項目となっています。 ALB/NLB・ECS・RDSを利用している ECSはEC2上で実行している（Fargateでは利用していない） ECSクラスター（以下クラスター）の自動スケーリング設定をしている ECS サービス（以下サービス）の自動スケーリング設定をしている RDSはAuroraを利用している また、障害は予期せぬコンテナの停止を想定しています。 NLB/ALBの調査事項 メトリクス 初めにロードバランサーのメトリクスからターゲットの状態を確認します
Athena で ALB アクセスログの time フィールドを Asia/Tokyo (JST) に変換する - kakakakakku blog
Amazon Athena で Application Load Balancer (ALB) のアクセスログを検索するときにタイムスタンプ time のタイムゾーンは UTC になっている💡検索するときに JST に変換したい❗️と思う場面があって，最近クエリを作っていたため，今後すぐに再利用できるようにクエリサンプルをメモしておこうと思う ＼( 'ω')／ サンプル: SELECT 単純に time を JST で表示するなら parse_datetime 関数と AT TIME ZONE オペレータを組み合わせる👌 SELECT parse_datetime(time, 'yyyy-MM-dd''T''HH:mm:ss.SSSSSS''Z') AT TIME ZONE 'Asia/Tokyo' AS time, request_verb, request_url, elb_sta
「ALB 502 エラーの原因切り分け Yes/No 診断」を作ってみた | DevelopersIO
こんにちは、テクニカルサポートの Shimizu です。 弊社ヘルプデスクへ「Application Load Balancer（ALB）の 502 エラーの原因調査が難しい」というお問い合わせをよくいただきます。 実際サポート側においても「原因箇所が ALB 側か、またはバックエンド EC2 サーバー側か」の切り分けは確認するべき点が多く、毎回時間がかかります。 そこで「もっと簡単に原因を切り分ける方法がないか」と考えた結果、Yes/No 形式のトラブルシューティングを作ろうと思いつきました。 それでは始めてみましょう！ 質問 [質問1] 該当時刻の ALB のメトリクスを確認しましょう。「HTTP 5XXs」は出ていますか？ YES（出ている） バックエンドサーバーの内部から 500 系のエラーレスポンスが返されており、バックエンド側の問題を明確に示しています。 → [結果A] へ N
Amazon ECS タスクのイベントとログを時系列で出す tracer を作った - KAYAC engineers' blog
SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア
AWS ALBの運用豆知識 | 外道父の匠
たいした諸事情なわけでもないですが、だいぶ更新を空けてしまいましたので、ささやかなことからコツコツと書いていこうかと思います。 今回は、ALB(Application Load Balancer)の運用で得られた豆知識の記録です。 暖機運転の豆知識 申請の必要性 ALBはトラフィックが増加しても自動的に拡張して対応してくれますが、急激に増加すると拡張が間に合わずにキャパシティオーバーとなって、ALBがエラーを返してしまう可能性があります。そのため、事前にこのくらい跳ね上がりますので暖めて馴染ませておいてください。ってのが暖機運転（Pre-warming）です。 基本的には事前に申請して扱う仕組みですが、想定よりトラフィックが多くなり、エラーが多発し、数十分・数時間も解決しない場合もこの申請をすることがあります。この場合、ALBが自動拡張してくれない ＝ 何か他に問題がある 可能性が高いので
Amazon AthenaでELBのログを調査するときに使ったSQL | DevelopersIO
はじめに 今まではログの調査の際にはS3にあるELBのログをローカルに落としてgrepしたりしてましが、 Athenaを使ってログを解析してみましたので今回は調査のときに使ったSQLをご紹介します。 ご紹介するSQLを使えばあとは少し変えるだけでいろいろな調査が可能かと思います。 Athenaデータベース、テーブルの準備 Athenaを使用する際の手順は以下ブログを参考にしてください。 Amazon AthenaでELBログをSQLで解析する #reinvent 調査に使用したSQL ELB毎のリクエスト数を調べる SELECT elb_name, count(*) AS request_count FROM elb_logs GROUP BY elb_name ORDER BY request_count DESC; 特定の時間内でのリクエスト数を調べる SELECT elb_name,
AWS、nginxでお手軽動的サムネイル - rista’s blog(旧)
WEBサービスで使用するサムネイル画像、JOBLISTでは事前に作っておくのではなく、動的に生成しています。 オリジナル画像がhttps://d2ui2iytvnht76.cloudfront.net/sample.jpgだとすると、 https://d2ui2iytvnht76.cloudfront.net/resize/100x100/sample.jpgで100px × 100pxに収まるように縮小した画像、 https://d2ui2iytvnht76.cloudfront.net/crop/100x100/sample.jpgで100px × 100pxにピッタリ収まるように縮小＆切り抜きをした画像、 が取得できます。 やろうと思えばもっと複雑なことも出来ますが、今のところこのぐらいで事足りてます。 導入のためにやったことは、既に構築済みだったCloudFrontとnginxに設
Amazon VPC IPアドレス設計レシピ | DevelopersIO
はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ
AWSでのHTTP/2 or SPDY運用の課題とPROXY protocol - Hatena Developer Blog
東京でウェブオペレーションエンジニアをしている id:dekokun です。 本記事ではAWSでELBを使用してHTTP/2 or SPDYを運用する上で直面する問題としてのクライアントのIPアドレスが分からなくなる問題の紹介を行い、その後に解決策としてのPROXY protocolの紹介・PROXY protocolの設定方法について記載します。 この記事は先日公開しましたAWS EC2でのHTTP/2 or SPDY導入方法 - Hatena Developer Blog (以下、"前回の記事"と呼びます) の続編となります。 ELBのTCPモードにおける問題点 解決策としてのPROXY protocol PROXY protocolが必要となる技術的背景及びPROXY protocolの動作 ELB + nginx構成でのPROXY protocolの設定方法 ELBの設定 ngin
AWSのAutoScalingを利用して、td-agentクラスタを準備する - Qiita
検証を思いついた経緯 appサーバ側のforward設定で複数の<server>タグを管理したくない td-agentのconfigに影響されず、AWSメンテナンスやインスタンス障害の対応を行いたい アプリケーションが乗るappサーバと違い、td-agentクラスタは純粋に負荷を見極めやすいため、AutoScalingに適している fluentdのコミュニティで「TCPロードバランシングはユーザ側で試して欲しい」という状況で更新が止まっていた https://groups.google.com/forum/#!topic/fluentd/3ZuG_1dPovE td-agentクラスタ環境準備 1.環境構成 今回、VPC,SecutityGroup,AMIの作成方法は割愛。 以下の環境を準備する。 2.appインスタンスのtd-agent設定 <source> type forward <
AWS ELBに組み込んだLet’s Encryptをダウンタイムゼロで更新する - Qiita
0. 背景 無料のSSL証明書ということで話題のLet's Encryptですが、実際の利用のためには 90日ごと に証明書を更新しないといけないという制約から、なかなか本番利用するには腰が重くなってしまいます。 （もちろん本家では、全自動で更新することを推奨しています。） ましてや、AWS ELBなどのロードバランサーを利用し、配下に複数のWebサーバがいると、ACMEプロトコルを通過させるだけで一苦労です。 そこで、nginxのリバースプロキシを使うことで、既存のアプリケーションに影響をあたえること無く、Let's Encryptの更新を済ませる方法を試しました。 1. 前提 今回は、以下の様な環境を想定します。 www.example.com で受けるELBの配下に複数のWebサーバがある stg.example.com で受けるELBの配下にWebサーバがある www.exampl
Amazon ECSでHAProxyのDockerコンテナを各Taskに配置するのがなかなか良い件 - tehepero note(・ω<)
2016 - 03 - 15 Amazon ECSでHAProxyのDockerコンテナを各Taskに配置するのがなかなか良い件 Docker HAProxy AWS ECS どうも、コンテナ芸人です。久しぶり？に Amazon ECSを使ったネタをお届けします。 今のプロジェクトではDBに MySQL を利用していますが、コスト低減のためにMaster(Multi-AZ)だけRDSでSlaveはEC2で構築しています。で、SlaveにはELB経由で参照していましたが、最近この仕組みをHAProxyコンテナに置き換えてみたらなかなか良かったぞという話です。 旧構成 これがつい先日までの構成。 ECS Task *1 は Nginx+Node(React)+ API (Go)+td-agent で1セット Nginxは API コンテナや、 SSR でHTMLを返却するNodeコンテナへPr
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
ELB + Nginx 利用時にRailsでHTTPSアクセスを識別する - Qiita
def scheme if @env['HTTPS'] == 'on' 'https' elsif @env['HTTP_X_FORWARDED_SSL'] == 'on' 'https' elsif @env['HTTP_X_FORWARDED_SCHEME'] @env['HTTP_X_FORWARDED_SCHEME'] elsif @env['HTTP_X_FORWARDED_PROTO'] @env['HTTP_X_FORWARDED_PROTO'].split(',')[0] else @env["rack.url_scheme"] end end def ssl? scheme == 'https' end schemeメソッドで「https」が返されれば、https判定されることになる。 今回の構成のような例では、「url_scheme」はhttpになるため、その他のヘッダ
AWSのELB(Elastic Load Balancing)は、セキュリティ的に問題ないのか | ozumaの日記 | スラド
AWS(Amazon Web Service)を個人的にボチボチいじっているのだけど、ELB(Elastic Load Balancing)が結構気持ち悪い。ので今日はその辺のお話。 ELBとはAWSが提供するロードバランサで、オートスケールと組み合わせることにより、トラヒック増大時にも自動的にスケールアップしてくれるというのが売りとなっている。内部的な話をすると、ひとつのELBにはひとつのFQDNが割り当てられ、スケールする際にはこのFQDNのIPアドレス(Aレコード)が変わるという若干トリッキーな動きをする。そのため、ユーザはIPアドレスではなく、常にFQDNでアクセスするようにしないといけない。（この他、配下のサーバのヘルスチェックもきめ細かくできるとか、Route 53の合わせ技が強力……とか色々あるけど本稿では関係ないので省略）。 さてここで問題は、スケールしてELBのIPアドレ
大規模トラフィックを捌くための CloudFront 以外の選択肢 – I'm Sei.
〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ロードバランサー編) 〜今回、ロードバランサーは全面的に AWS の Elastic Load Balancing (ELB) を使用しました。 Web API を提供するシステムにはもともと ELB を使う予定だったのですが、静的ファイルの配信などは ClouldFront + S3 という構成でいこうと思っていました。 が、最終的には静的ファイルを配信するシステムも ELB + EC2 という構成になりました。 そのへんの経緯とか、AWS を使うときのシステムのフロント周りの負荷分散にはどういう選択肢があるのかとか、軽くまとめてみようと思います。 静的ファイルの配信には CloudFront を使ったほうがいいのかCloudFront は S3 と併用することで、静的なファイルの配信のことはほとんど考えなくていい、というくらい簡単
ELBとRoute 53のヘルスチェック仕様の違い | DevelopersIO
こんばんは、三井田です。 今回は、Elastic Load Balancing (ELB)とRoute 53のヘルスチェックの仕様の違いについて簡単にまとめてみたいと思います。 ELBのヘルスチェックはご存知のとおり、ロードバランサがどのバックエンドインスタンスにトラフィックをルーティングするかを判断するために用いられます。 一方、Route 53のヘルスチェックは、重み付けラウンドロビンやDNSフェールオーバーで、どのIPアドレスを回答に含めるかを判断するために用いられます。 ヘルスチェック仕様早見表 まずは、以下の表にご覧下さい。 サービス ELB Route 53 ヘルスチェック元 （Health Checker）
AWS News Blog
Stop the CNAME chain struggle: Simplified management with Route 53 Resolver DNS Firewall Starting today, you can configure your DNS Firewall to automatically trust all domains in a resolution chain (such as aCNAME, DNAME, or Alias chain). Let’s walk through this in nontechnical terms for those unfamiliar with DNS. Why use DNS Firewall? DNS Firewall provides protection for outbound DNS requests fro
CloudFront + nginx(http_image_filter_module) + S3 を使って画像変換サーバを構築する - 本日も乙
珍しく(初めて?)AWSネタです。 仕事でAWSのVPCを構築しているのですが、画像を取り扱うサーバが欲しいとの要望がありました。 画像を表示するだけならCloudFront+S3だけで強力な画像(CDN)サーバを構築することができるのですが、今回は画像サイズもリアルタイムで変換して表示してほしいとのことでした。 幸いにも社内で以前、nginxのhttp_image_filter_moduleを使って画像変換している実例(実サーバ)があるのでそれを参考に構築してみました。 構成図 簡単な図です。 今回やりたかったこと ユーザが独自ドメインとマッピングされたCloudFrontにアクセスすると、CloudFrontに画像がキャッシュされていればその画像を返します もし画像がキャッシュされていなければELB・EC2インスタンス経由でS3にある画像を取得します EC2インスタンスにhttp_im
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[社内勉強会]ELBとALBと数万スパイク負荷テスト![[社内勉強会]ELBとALBと数万スパイク負荷テスト](https://cdn-ak-scissors.b.st-hatena.com/image/square/2d66722d28b188f243f0cd881f7598f699791ab1/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Felbalb-160822022623-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
