Performance Tuning Linux Instances on EC2
Recent posts: 24 Mar 2024 » Linux Crisis Tools 17 Mar 2024 » The Return of the Frame Pointers 10 Mar 2024 » eBPF Documentary 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » Te
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
This document provides an overview of Elastic Load Balancing (ELB) on AWS. It discusses the different types of ELBs (Application Load Balancer, Network Load Balancer, Classic Load Balancer), their key features and how they can be used to build scalable and highly available systems by distributing traffic across multiple Availability Zones and targets like EC2 instances or ECS containers. It also c
AWSでコスト計算する時はData Transfer Out Byteが重要です - 日報 #118 - 俺の報告
お金の話です。 AWSの。 一般的なアプリのサービスの場合、 サーバサイドのメインコストは下記の3つです。 RDS固定費 EC2固定費 S3固定費 転送料金 使っていれば大物コストになりうるのはRedshiftやDynamo、CloudSearchあたりだと思いますが、 まぁ一旦ここは置いておきましょう。 特にRoomClipのような画像中心のサイトの場合は、 転送料金がバケモノ化していくので要注意でございます。 よくAWSの料金体系は複雑と言われます。 確かにそうなのですが、 複雑化している最大の要因は転送料金にあるんじゃないでしょうか。 もっと突っ込んで言えば、「S3の転送量が把握できない」ということが大きいのではないでしょうか？ 今日はその辺について、僕が荒く把握するときの計算方法を記載してみます。 転送料金以外について、まず整理してみます。 これは実はとてもシンプルで、 RDSもE
鎌倉goでもくもくと
2015/03/01 15:02 ※ 商品のリンクをクリックして何かを購入すると私に少額の報酬が入ることがあります【広告表示】 鎌倉でgoの勉強会 があるというので、お邪魔してきました。 今回はもくもく会でした。会場と飲み物や食べ物を IICHI さんが用意してくれました（さらにtypesterさんが昼間っから一杯ひっかけつつピザを入手してきてくれた）。 もくもく会 goのAWS SDKを最近目にしていたので、CloudWatchのカスタムメトリクスをgoで投げてみようというのが目的です。 たいてい名前を考えているうちに数日経ってしまうので、参加を決めた後事前に少し準備をしてから邪魔しました。気持ちの良い土曜の午後に集中してもくもくできて非常に良かったです。 Erulolo https://github.com/tsuyukimakoto/erulolo 結果 時間内に目標は達しました。カ
t2.micro、t2.smallインスタンスについて
■特記事項 今までのsmall、microと違ってCPUの考え方が異なります。詳細はAWSブログに記載されておりますが、以下ような考えた方になります。 ・クレジットを持っている分だけ、CPUの性能が向上するバーストが発動し、クレジットがなくなると、CPUの性能がベースラインに留まる仕様になります。 ・ベースラインは、t2.small の場合、20%になります。 ※t2.smallの初期クレジット/最大は以下になります。 初期：30 １時間あたり：12回復 最大：288（4時間48分間バースト可能） ■注意事項 r3などの新世代インスタンス同様に仮想化方式HVM(Hardware-assited VM)のみの対応となっています。 なので、t.1からt.2に移行する時は注意が必要になります。 ※t1.microからt2.microへの移行について、こちらに非常にわかりやすい記事がありましたので
Amazon EC2 の t2.medium についてのメモ - Qiita
t2 は昼間や深夜などアクセスが少ない時間帯にCPUクレジットがたまり、夕方などのアクセスが多い時間帯にCPUクレジットを消費してCPUを使うことができるので、Web/Appサーバとして良さそうだということで、テスト運用してみました。 ところが、CPUのベースラインについて勘違いしていたため混乱したので、ここに記録として残しておきます。 T2 Amazon EC2 には T2 タイプのインスタンスというものがあります。 T2 インスタンスはベースラインレベルの CPU パフォーマンスを提供しながら、そのベースラインレベルを超えてバーストする機能を備えています。 CPUクレジット タイプ 1 時間あたりに受け取る CPU クレジット ベースラインパフォーマンス（CPU 使用率）
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
Amazon SESでSPFとDKIMを用いて高信頼なメールを送る | DevelopersIO
Amazon SESとは SESは、メールを配送するサービスです。APIやSMTPを使ってSESにアクセスをしてメール送信を依頼します。名前だけ聞いたことがあるけど、実際には使ったことが無い方が多いのではないでしょうか。ちなみに、メールの受信サービスは提供していません。以下にSESの特徴を列挙したいと思います。 SDK/APIからメールを送れる EC2でアプリケーションを開発している場合、メールを送りたいことがありますよね。実際にEC2からSMTPメールを大量に送っているとエラーが返ってきたりします。これは、自動的にスパム認定を受けてしまうからです。これを防ぐには申請とEIPの逆引き登録が必要なのですが、ちょっと面倒ですよね。SESのSDKを使えば直接APIをコールしてメールを送ることができます。 認証付メールが送れる 昔から行われているEメール送信には様々な問題がありました。差出人の偽装
AWS利用料金グラフ化Muninプラグインを書いてみた（ ＾ω＾） | Pocketstudio.jp log3
◆ AWS Billing Alert いいですね。 今日は、先日の投稿の続きです。Amazon Web Services の利用料金見積もりの機能(AWS Billing Alert) が実装されました。導入手順や Management Console の操作については、こちらをご覧下さい。 AWS Billing Alerts を使った請求金額通知と、CLIを使った金額取得 | Pocketstudio.jp log3 http://pocketstudio.jp/log3/2012/05/19/enable-aws-billing-alerts/ これが出来ると何が嬉しいかというと、どのサービスに対して、どの程度のお金をかけているのかが、逐次確認出来る点です。EC2にいくら、RDSにいくら払ったかが分かるのは便利。Billing Alert があれば、x4.large インスタンスを
AWS Billing Alerts を使った請求金額通知と、CLIを使った金額取得 | Pocketstudio.jp log3
Amazon Web Services の課金情報は、新しい Billing Alert 機能を使うことで、おおよその見積もりが出来るようになった模様。一通り有効にする方法、CloudWatchでメール通知する設定、そして、CLIを使ってコマンドラインでデータを取得するまでの流れをまとめました。 ◆ Billing Alerts AWS Blog にて、新たに “Billing Alerts”(請求通知)なる機能が搭載された事を知る。何でも、おおよその利用料金を見積もりしてくれるようだ。しかも料金の閾値を設定し、越えた場合にメールで通知することも出来るとのこと。ほほう。 【AWS発表】 AWSクラウドの利用料金を監視・通知できるように – Amazon Web Services ブログ http://aws.typepad.com/aws_japan/2012/05/monitor-est
スポットインスタンスを安定して利用するための取り組み - Qiita
この記事は、AWS Advent Calendar 2014 の12日目の記事です。 AWSを利用したゲームの運用を行い約1年半、この記事ではAWSのスポットインスタンスを利用した取り組みについて簡単に紹介したいと思います。 なお、こちらの記事は、2014年7月17日（木）～18日（金）に行われたAWS Summit 2014 Tokyoの「Tech Deep Dive By Customers」トラックで発表させて頂いた「AutoScale×ゲーム ～運用効率化への取り組み～」のスポットインスタンスの利用についての簡易版となります。 はじめに みなさんスポットインスタンス利用していますか？ 今年に入ってAWSも大幅な値下げが続き、よりサーバ構築や検証を簡単にできるようになったのではないでしょうか。その中でもスポットインスタンスは、破格の価格で利用することが出来「バッヂ処理」や「検証」のた
【AWS】AutoScalingを使う際の注意点についてまとめてみました | DevelopersIO
はじめに こんにちは植木和樹です。既存システムのAWS移行の仕事などをやっていると、移行時にAutoScaling構成にすべきかどうか？という検討をする機会があります。AutoScalingにしておくと高負荷や障害にも強いシステムが構成できるのですが、システム移行となると色々と既存構成を変更しなければならないことが多いです。 そこで今回はこれまで関わった案件でAutoScaling化する上で検討しなければならなかった点を、頭の中の整理を兼ねてまとめてみました。 AutoScalingとはなにか？ 「Auto Scaling （仮想サーバーAmazon EC2 の処理能力の自動拡張・縮小機能）| アマゾン ウェブ サービス（AWS 日本語）」では3つのユースケースが紹介されています。 Amazon EC2 群を自動的に縮小・拡張 規模を固定して Amazon EC2 群を管理 Elastic
Detailed Billing ReportのCSVを使って利用料金をグループ集計する | DevelopersIO
AWS利用料金に関する明細を知りたい AWSでは月次利用レポートを出力できることは知られています。また、最近追加された機能で、１時間単位での利用料金を算出できることがわかりました。Programmatic AccessとDetailed Billing Reportを有効にすることで、翌月頭にS3へCSVファイルを出力してくれます。今回は、このデータを加工してアカウント毎に利用料金をグループ集計したいと思います。 Programmatic AccessとDetailed Billing Report 初期設定は無効になっていますので有効にしてください。 設定を有効にしたら、翌月頭に集計結果が出力されています。 2012年12月の利用明細をダウンロードしてCSVを解析したいと思います。 シェルコマンドでCSVを加工する ダウンロードしたCSVファイルは圧縮済みで4.4MBありましたが、解凍す
AWS Account Billingを使って毎日の利用額の確認する | DevelopersIO
AWSからの請求を確認する AWSは、1時間単位やリクエスト数等の使った分だけ請求される従量課金のサービスです。以前までは月末に請求額をお知らせするメールが来てインスタンス落とし忘れてビックリなんてことがありましたがw、今は請求額に関するアラート通知があり、より計画的な運用が可能となっています。そして、このたびAWS Account Billingがリリースされました。 請求確定のメールで確認する アカウント管理画面で確認する 課金アラートの通知で確認する AWS Account Billingを使って確認する AWS Account BillingのProgrammatic Accessとは AWS Account Billingは、AWSの利用状況についてプログラムからアクセスできる仕組みです。具体的にはS3にCSV形式で利用状況がアップされるので、プログラムからアクセスして加工するこ
Amazon Auto Scaling, Elastic Load Balancing
先日、Amazon の新機能として3つの機能が追加されました。 CloudWatch インスタンス、Load Balacing の負荷データを取得できる。 Auto Scaling CloudWatch のデータからインスタンスの起動、停止を自動で行う。 Elastic Load Balancing そのままロードバランサー。 新しいプロジェクトで、Amazon EC2 を利用して、大規模なユーザサービスを行うシステムを構築しています。 その一環で、3つの新機能を検証しました。 検証として以下の要件を定義します。 EC2 で利用する Image を作成して、登録済みであることを前提としています。 Image は自動的にウェブサーバを起動するようにしておきます。 Load Balancing 対象のサーバは最大3台のウェブサーバとする。 開始時は1台で運用し負荷に応じて自動的に3台までスケー
Amazon EC2再入門 2015年1月版 | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(Amazon Machine Image)を選択します。 AMIの種類 Amazon Machine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。 AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Amazon Glacierでクラウド破産しないために - HDE BLOG
おはこんばんちは!! 尾藤 a.k.a. BTO です。 HDEのメールアーカイブシステムでは、月間1億6000万通ものメールを処理しています。 それだけのメールを処理するので、メールのデータ量も大変なものになります。 一方で、過去のメールに関しては、それほど頻繁にアクセスするものでもありませんので、できるだけコストを抑えたい。 そこでAmazon Glacierを使ってみてはどうかと考えたのですが、詳しく調査してみると、気をつけないと破産をしかねない危険なものでもあるのが分かりましたので、今回はそれを書きたいと思います。 Amazon Glacier とは まずは Amazon Glacier についてご紹介しましょう。 Amazon Galcier は平たく言うと、安価なストレージサービスです。安価である代わりに、取り出すのに3〜5時間かかります。 Glacier と S3 の料金は次
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
conma.me
Amazon EC2 T2インスタンスのバーストパフォーマンスをベンチマークしてみた(UnixBench) | iret.media
