EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ | CyberAgent Developers Blog
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン
Scout2
Description Scout2 is an open source tool that helps assessing the security posture of AWS environments. Using the AWS API, the Scout2 Python scripts fetch CloudTrail, EC2, IAM, RDS, and S3, configuration data. The gathered configuration is analyzed and stored as JSON objects in several JavaScript files. These files are imported in the Scout2 HTML report, which allows for a quick and efficient rev
sshの鍵を作るときにちょっとだけ気にしたいこと | DevelopersIO
こんにちは、臼田です。 AWSでEC2と接続するためのsshの鍵の生成は、基本AWS側で行なってくれますが、ec2-user以外のユーザで別の鍵を利用したり、AWS以外でもGithub等のサービスに利用したりする際には自分でsshの鍵を作成すると思います。 本当にちょっとしたことですが、ssh-keygenで鍵を生成する際に気にしたいことを書きます。 普通に作ってみる ssh-keygenコマンドは対話式で鍵を生成することができます。 具体的には、下記のような動作になります。 $ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/Users/username/.ssh/id_rsa): /Users/username/.ssh/test Enter passphr
クレデンシャルの適切な扱い方 ー AWS SDK for Goの場合 | DevelopersIO
渡辺です。 AWS CLIやAWS SDKを利用すれば、AWSでリソースを自由に操作できます。 この時、認証情報（クレデンシャル）が必要ですが、適切に扱わなければなりません。 特にアクセスキーの扱いは慎重に行い、可能な限りアクセスキーを利用しないことが大切です。 AWS SDK fo Goでのクレデンシャルの扱いについてまとめました。 AWS SDK for Goを使う流れ はじめにAWS SDK for Goでのサービス利用手順について確認します。 例えば、EC2サービスを利用するには次のようなコードです。 sess := session.Must(session.NewSession()) svc := ec2.New( sess, aws.NewConfig().WithRegion("ap-northeast-1"), ) fmt.Println(svc.DescribeInsta
AWSネットワークの論理的な側面 ～ AWSのバックボーンネットワークに関するDeepな話（2）
こんにちは。アマゾンウェブサービス（AWS）サポートの有賀と申します。好きなサービスはAmazon Virtual Private Cloud（VPC）です。これからAWSサポートの各メンバーがそれぞれ「今一番AWSユーザーに伝えたいこと」を連載の形でお届けしていきます。筆者の担当する本稿では、AWSの「ネットワーク」について見ていきたいと思います。今回は、ネットワークの「論理設計」について解説します。 本稿でお伝えするのは下記の第2回の内容です。全3回に渡って解説していきます。 AWSのネットワークの物理的な側面 ⇒ 第1回 AWSのネットワークの論理的な側面 ⇒ 第2回 AWSのネットワークにおけるベストプラクティス ⇒ 第3回 AWSのネットワークにおいて過去に発生した問題の事例 ⇒ 第3回 必ずしもAWSの使い方といった内容ではないので、今日すぐに使える知識にはならないかもしれませ
MySQLを１〜２時間でスケールアウトする - クックパッド開発者ブログ
最近、Elastic BeanstalkやECSと戦っているSREチームの菅原です。 P5をやりたいのにPS3もPS4も持っていないので指をくわえて羨ましがっている毎日です。 この記事では、突然のアクセス増に備えるために、MySQLのスレーブを１〜２時間でスケールアウトできるようにした話を書きます。 MySQL on EC2 クックパッドは周知の通りAWSを利用していますが、主要なデーターベースについてはAmazon RDSではなくMySQL on EC2を使っています。 これは以下のような理由によるものです。 歴史的な経緯: AWS移行当時、RDSが無かった。また、移行後もしばらくはTritonnを使っていたため、RDSを使うことができなかった オンラインメンテナンスの実現: VPCルートテーブルを使った仮想IPとMHA for MySQLを使ってダウンタイムゼロのマスタDBの切り替えを
CVE-2015-7547 (glibcの脆弱性) AWSでの対応まとめ | DevelopersIO
ども、大瀧です。 本日午前中にCVE-2015-7547に関する情報が公開されました。 AWS環境での対応方法をまとめておきます。 AWSからのアナウンス : CVE-2015-7547 Advisory AWSのマネージドサービスは影響無し RDSやS3など、AWSのマネージドサービスは影響ありません。 EC2はAWS DNSを参照する場合は影響無し 今回の脆弱性はDNS関連とのことですが、Amazon VPCで提供されるDNSキャッシュサーバー(AWS DNS)を参照するEC2インスタンスも影響ありません。 AWS DNS以外のDNSサーバーを向いているEC2では、glibcパッケージをアップデートすることで対応が必要です。Amazon Linuxの場合は、以下のyumコマンドでアップデートしましょう。 sudo yum update glibc ただし、Amazon Linuxのバー
AWS再入門 Amazon EC2(Linux)編 | DevelopersIO
はじめに 当エントリはDevelopers.IOで弊社AWSチームによる『AWS サービス別 再入門アドベントカレンダー 2015』の10日目のエントリです。昨日9日目のエントリは森永の『AWS Config』でした。 このアドベントカレンダーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 本日10日目のテーマは『Amazon EC2』をLinux編(EC2全般を含む)とWindows編に分けて2本同日リリースでお伝えします。 Amazon EC2 (仮想クラウドサーバー) | アマゾン ウェブ サービス（AWS 日本語） Windows編はこちら 目次 サービスの基本的な説明 プライベートなネットワーク環境に仮想マシンを構築可
AWSを一年使ってみて、最初から知っておけば良かったこと
AWSを使い始めて約一年が経過したので、この一年を振り返ってみて、最初から知ってた方が良かったな〜と思ったポイントをピックアップしてみました。 IAMロールはName変えられないし付け替えもできない件勢いだけで作ったIAMロールを付与して意気揚々と運用開始！数ヶ月後に付け替えできない事に気付いて、ec2ctrlとかいかにもEC2インスタンスをコントロールするためのロールなのに、なぜかS3の全権限付与してたり、もはや名前から予測できない事態になってしまったという話。 まぁ、別にオオゴトでは無いんですけどね。インスタンス作り直せば付け替えできるし、新しいロール作ってインスタンス作り直せばいいだけの話です。やるかやらないか。 やりませんけど！ VPCでVPN接続はリージョン毎に１つしか設定できなかった件IDC側のグローバルIPが複数用意できない前提ですが、IDCとAWS(VPC)間でのVPN接続
Amazon EC2を(なるべく)使わずにシステムを構築してみる | DevelopersIO
こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが
【運用保守】構成管理サービスAWS Config利用のすゝめ【ITIL】 ｜ DevelopersIO
弊社にはAWS狂が結構いるのですが、AWS Configはあまり注目されていません。 AWS公式ドキュメントでも日本語化されておらず、AWS Configについて触れた記事は数えるほどしかありません。 使えるサービスなんだよ！というのを訴えるためにドキュメントの翻訳ベースでAWS Configの魅力をお伝えします。 実際の設定手順はこちらやこちらを御覧ください。 Configとは AWSリソースの設定を可視化するサービスです。 現在のAWSリソースの設定値を見られるだけでなく、AWSリソース毎の関係性やどのように設定変更がなされたかを見ることが出来ます。 AWSリソースとは AWSが提供しているサービスで管理されるリソースを指します。 Configが対応しているAWSリソースは以下のとおりです。 Amazon Elastic Compute Cloud（EC2） EC2 instance
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
EC2 のAuto Recoveryが東京リージョンにリリースされました ｜ DevelopersIO
はじめに AWSチームのすずきです。 AWSのシステム側に起因するEC2障害が発生した場合、 インスタンスのSTOP、STARTによる再起動操作が必要となる事があります。 この再起動を自動化する「Auto Recovery」機能が東京リージョンでも利用可能となりましたので紹介させていただきます。 Auto Recovery設定 Auto Recovery、AWSコンソールのCloudWatch画面で設定します。 詳細な設定手順は、Auto Recoveryが先行提供されていた米国リージョンと同じです。下記記事をご覧ください。 【新機能】EC2 Cloudwatchの新機能「Auto Recovery」を使ってみた まとめ AWSのEC2環境が稼働している仮想ホストやネットワークなどに物理的な障害が生じ、 EC2インスタンス障害に至る可能性、頻繁に発生するものではありませんが、0ではありませ
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
EC2の新インスタンスタイプ”C4″をベンチマークしてみた | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 re:Invent 2014でアナウンスされていた新しいEC2のインスタンスタイプ"C4"を使用できるようになりました。C3に比べて、どの程度早くなったのか計測してみました。 C4自体の説明はせーのがAmazon EC2の新インスタンス「C4ファミリー」を触ってみたという記事を書いておりますので、こちらを参照下さい。 2015/01/14 15:20 ディスクアクセスのパフォーマンスに関する箇所は、内容を取り下げます。 ベンチマーク インスタンス全体のパフォーマンスを計速します。 計測環境 計測ツールはいつも通りにUnixBenchを使用します。 計測内容は以下の通りです。 UnixBench 5.1.3 EC2インスタンス：c3.large(2並列)、c4.large(2並列)、c3.xlarge(4並列)、c4.xlarge(4並列
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
Amazon EC2とS3からのデータ送信転送量が最大43％も値下げ、さらにAWSからCloudFrontへの転送は無料に
他社のクラウドの中にはAWSに対抗するため、インターネット側への転送料金を無料にしたり格安にしたりするケースが多々ありましたが、ついにAmazon自身が値下げを発表しました。 AWS Data Transfer Price Reduction http://aws.amazon.com/jp/blogs/aws/aws-data-transfer-price-reduction/ まず大きいのがAWS（EC2とS3）からのデータ送信転送量が6％から43％値下げされる点。以下の表のようになります。 データ転送送信（アウト）米国スタンダード 米国西部（オレゴン） 米国西部（北カリフォルニア）欧州（アイルランド） 欧州（フランクフルト）アジアパシフィック（シンガポール）アジアパシフィック（東京）アジアパシフィック（シドニー）最初の10TB/月-25%-25%-37%-30%-26%次の40TB/
事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
CentOS on Amazon EC2 でディスクサイズ変更しても変わらないときの対処方法 | DevelopersIO
こんにちは、梶です。 AWS MarketplaceのCentOS 6 (x86_64) - with Updates HVMから、Tokyoリージョンで新規インスタンスをlaunchする際に、ディスクサイズを20GBで指定しましたが、OS側の認識がデフォルトの8GBのままなので対応方法を公開いたします。小ネタです。 パーテーションサイズが変更されていないのはわかったのですが、別インスタンスにVolumeをAttachしてパーテーションサイズを修正しようとしてもダメだったりして、かなりハマりましたので誰かのお役に立てたら光栄です。 以下のブログの構築した際、ディスクサイズ変更で問題が発生し調査することになりました。 AWSでのBacklogエンタープライズサーバの構築 事象 launch後のdfコマンドでは以下の結果となります。 （20GBで指定しても、8GBのまま） # df -h Fi
Amazon CloudFrontとEC2(Nginx)で作る国・地域対応Webサイト構築 | DevelopersIO
ども、大瀧です。 CloudFrontによるグローバル対応サイトの構築は、横田の以前のエントリーでRoute 53と組み合わせを紹介済みですが、Route 53のレイテンシーレコードはAWSのリージョンごとの区分けなので、「日本」向けや「台湾」向けなど特定の国や地域別にコンテンツを区別する用途には向いていません。 そこで今回は、7月にリリースされたCloudFrontのジオターゲティング機能を利用して、国・地域に対応するWebサイトを構築してみます。まずは構成図をどーんと。 CloudFrontのジオターゲティングは国・地域の地理データベースとクライアントの接続元IP照合するのですが、その結果をオリジンに転送するHTTPリクエストのヘッダに付与します。国・地域によってオリジンを振り分ける機能ではありませんので、CloudFrontのジオターゲティングによって付与されたHTTPヘッダを解釈す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
