How Netflix Tunes EC2 Instances for Performance
CMP325 talk for AWS re:Invent 2017, by Brendan Gregg. " At Netflix we make the best use of AWS EC2 instance types and features to create a high performance cloud, achieving near bare metal speed for our workloads. This session will summarize the configuration, tuning, and activities for delivering the fastest possible EC2 instances, and will help other EC2 users improve performance, reduce latency
Launch Templates for Amazon EC2 instances の紹介
Launch Templates は、これまでにない方法で起動リクエストをテンプレート化する新しい機能です。Launch Templates により、Auto Scaling、スポットフリート、スポット、およびオンデマンドインスタンスの起動プロセスが効率的かつシンプルになります。 Launch Templates によって 1 つのリソース内のすべての起動パラメータが取得されるため、インスタンスの作成に必要なステップの数が減ります。これにより、起動プロセスを再現しやすくなります。また、Launch Templates では、Auto Scaling、スポットフリート、スポット、およびオンデマンドインスタンスがサポートされているため、標準とベストプラクティスの実装がより簡単になり、コストの管理、セキュリティに対する姿勢の改善、デプロイエラーのリスクの最小化に役立ちます。
Node Exporter 構築手順 + Prometheus からAWSオートスケール監視 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
Scout2
Description Scout2 is an open source tool that helps assessing the security posture of AWS environments. Using the AWS API, the Scout2 Python scripts fetch CloudTrail, EC2, IAM, RDS, and S3, configuration data. The gathered configuration is analyzed and stored as JSON objects in several JavaScript files. These files are imported in the Scout2 HTML report, which allows for a quick and efficient rev
【新機能】EC2 Cloudwatchの新機能「Auto Recovery」を使ってみた | DevelopersIO
こんにちは、せーのです。今日はEC2のライフサイクルに関するお話です。EC2を使用しているとたまに「Status Checked Failed」というステータスチェックエラーになってサーバーに繋がらなくなる、という事があるかと思います。今日ご紹介する新機能を使えばそんな時になんと自動復旧してくれる、というとても便利な機能です。名前は「Auto Recovery」といいます。 Status Checked Failedとは AWSはEC2のサーバーがハードウェア、ソフトウェアが正常に動作しているかどうか1分毎にチェックを走らせています。チェックは2種類あってそれぞれ「System status checks」「Instance status checks」といいます。「System status checks」はインスタンスを使用するために必要な AWS システムを監視して、AWS システム
CloudWatchとLambdaによるEC2の夜間停止 - Qiita
初めに AWSのアドベントカレンダーもっと盛り上がれ！もう時代遅れか！？ と念じております。 さてさて、前回はWEBアプリケーションの環境を構築しましたが 今回はEC2の夜間停止をCloudWatchとLambdaを利用して実装していきたいと思います。 夜間停止の流れはLambdaで起動用の関数と停止用の関数を作成し CloudWatchを利用して朝に起動用の関数を、夜に停止用の関数を実行することで実現させます。 第1部 「AWSを避けていたPGがALBとEC2を利用してWEBアプリケーション環境を構築してみた」 第2部 「LambdaとCloud WatchによるEC2の夜間停止」←今ここ 第3部 「ALBによるパスルーティング」 前置き LambdaのScheduleイベントでEC2を自動起動＆自動停止してみた#reinventを基本的に参考にして構築をしております。 解釈や説明の誤り
The PMCs of EC2: Measuring IPC
What's so special about these seven architectural PMCs? They give you a good overview of key CPU behavior, sure. But Intel have also chosen them as a golden set, to be highlighted first in the PMC manual and their presence exposed via the CPUID instruction. Note that the Intel mnemonic for LLC here is "longest latency cache", but this is also known as "last level cache" or "level 3 cache" (assumin
次世代のメモリ最適化インスタンスである、Amazon EC2 R4 インスタンスの概要
より大きなインスタンスサイズ、新しい Intel Broadwell プロセッサ、向上したネットワーキングおよび EBS パフォーマンス、および、R3 インスタンスと比較して GiB 当たりでより安価になった RAM を特徴とする、次世代の Amazon EC2 メモリ最適化インスタンスである R4 インスタンスを起動できるようになりました。R4 インスタンスは、ビジネスインテリジェンス (BI)、データマイニングや分析、インメモリデータベース、Web スケールの分散インメモリキャッシング、構造化されていないビッグデータのリアルタイム処理を実行するアプリケーションなど、メモリを大量に消費し、レイテンシーの影響を受けやすいワークロードに最適です。 R4 インスタンスは、最大 64 個の vCPU と 488 GiB の DDR4 メモリを提供し、デュアルソケット Intel® Xeon® E
MySQLを１〜２時間でスケールアウトする - クックパッド開発者ブログ
最近、Elastic BeanstalkやECSと戦っているSREチームの菅原です。 P5をやりたいのにPS3もPS4も持っていないので指をくわえて羨ましがっている毎日です。 この記事では、突然のアクセス増に備えるために、MySQLのスレーブを１〜２時間でスケールアウトできるようにした話を書きます。 MySQL on EC2 クックパッドは周知の通りAWSを利用していますが、主要なデーターベースについてはAmazon RDSではなくMySQL on EC2を使っています。 これは以下のような理由によるものです。 歴史的な経緯: AWS移行当時、RDSが無かった。また、移行後もしばらくはTritonnを使っていたため、RDSを使うことができなかった オンラインメンテナンスの実現: VPCルートテーブルを使った仮想IPとMHA for MySQLを使ってダウンタイムゼロのマスタDBの切り替えを
JAWS目黒 EC2チューニングTips #jawsmeguro #jawsug
2015/5/22 JAWS-UG 目黒で発表した資料です。 http://connpass.com/event/14016/
Performance Tuning EC2 Instances
Talk for AWS re:Invent 2014. Video: https://www.youtube.com/watch?v=7Cyd22kOqWc . Netflix tunes Amazon EC2 instances for maximum performance. In this session, you learn how Netflix configures the fastest possible EC2 instances, while reducing latency outliers. This session explores the various Xen modes (e.g., HVM, PV, etc.) and how they are optimized for different workloads. Hear how Netflix choo
Creating an EC2 instance with Fabric/Boto - Martha Kelly
Creating an EC2 Instance With Fabric/Boto Aug 9th, 2012 Lately i’ve been learning about networking/HTTP/various inner workings of the internet, so I’ve been working with AWS. I would like to share a script with you that I wrote to spin up EC2 instances. What is EC2? Amazon Elastic Compute Cloud is a branch of AWS (Amazon Web Services) that allows you to rent virtual computers “in the cloud.” For o
【CyberAgent】技術情報／TechReport - テックレポート／Amazon Web Servicesについて | 株式会社サイバーエージェント
概要 既存のインフラを利用しないで、「Amazon Web Services」（以後AWS）のみを利用し新規でサービス展開を行う場合に必要な情報、知識をまとめる。 注意 基本的な利用方法を除外し、実際の構築時に必要なトピックスに焦点をあて本ドキュメントを作成しました。 特にオープンに公開されている情報については割愛（Web及び書籍で多数公開されている情報）しています。 補足 本ドキュメントは、2012/08時点でのAWSで提供されているサービスを元に記述されています。AWSは日々新機能がリリースされていますので、利用する際は最新の情報を取得してください。 目次 概要 注意 補足 目次 序論 クラウドのメリット クラウドのデメリット AWSの製品・サービス構成 内容 アカウント管理 Consolidated Billing(一括決済) 使用例 作成手順 補足 AWS Support 補足 A
ほぼ週刊AWSマイスターシリーズ | 資料集
ほぼ週刊AWSマイスターシリーズ資料集 無料オンラインセミナー「ほぼ週刊AWSマイスターシリーズ」では、毎週テーマを決めて各サービスの詳細情報をエバンジェリストやソリューションアーキテクトが解説しております。過去の資料はこちらからご参照ください。 [2011/9/20開催] Amazon EC2 & EBS [2011/9/28開催] Amazon S3 [2011/10/5開催] Amazon CloudFront & Route53 [2011/10/19開催] AWS Identity and Access Management (IAM) & Consolidated Billing [2011/10/26開催] Elastic Load Balancing(ELB), Auto Scaling & CloudWatch [2011/11/1開催] AWS CloudFormati
Ganglia without multicast
I'm running Ganglia 3.1.2 on a network where there is no multicast (nor can I turn it on). Does anyone have an elegant solution for getting ganglia to work correctly? I found this: http://code.google.com/p/ganglia-multicast-hack/ but it does not scale very well. Right now, I have separate data_source lines for each host on my network in my gmetad.conf file, but that too does not scale well, and I
現場志向でELBについて考える | TecTec Cloud
ELBについて深く知りたくなってしまったので、改めて調べたり聞いたりした。 今回そもそも知りたかったポイントは下記の2点 ELBがどういう仕組みで膨大なトラフィックに耐えているのか ELBで稀に障害が発生するみたいなので、その影響をなんとか回避できないか ELBの概要 内部仕様に踏み込む前に、改めて概要と基本機能を確認。 ELBの役割 ELB（ElasticLoadBalancer）は、Webトラフィックを配下のEC2Instanceに適切に分散してバランスを取る仕組み、いわゆるロードバランサー。なぜ分散させる必要があるかというと、1台のサーバで処理可能なトラフィックには限りがあるから。また、AutoScalingや、Zone間分散（Multi-AZ）といった構成をとる為にも必要となる。 ELBの基本機能 ELBの基本機能は、高負荷システムにおいて、肝となる重要なものばかり 負荷分散
Amazon EC2の仮想サーバ(インスタンス)から自身のメタ情報を取得する方法 - 元RX-7乗りの適当な日々
Amazon EC2で起動した仮想サーバ(インスタンス)では、サーバの内部から、そのサーバ自身の各種メタデータ(MetaData)を取得することが出来ます。 自前でAMIをカスタマイズする際、インスタンスの起動時に割り振られる(確定する)データ(例えば、IPアドレスとかインスタンスIDとか。)については、事前に扱いを決めることは難しいかと思います。 例えば、インスタンスIDをサーバ自身が判別できることで、サーバ起動のタイミングや、サーバ稼働中に、Amazon EBSボリュームを(自動で)自分自身に割り当てられたり等もできたりします。 また、余談ですが、Amazon EC2では、ユーザがインスタンスの起動時に任意のデータ(UserData)をインスタンスに渡すことができ、そのデータをインスタンスの中で扱うことも可能です。 この場合も、以下で紹介するやり方で、メタデータだけではなく、ユーザデー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pallet
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
VM-EC2-1.28 - Perl interface to Amazon EC2, Virtual Private Cloud, Elastic Load Balancing, Autoscaling, and Relational Database services - metacpan.org