転送量が多いWebサービスをクラウド上で展開する際のお金の話｜デロイト トーマツ ウェブサービス株式会社（DWS）公式ブログ
一昨日から突如、左手の甲の外側近辺に謎の痛みが発生し、コードを書くのにも支障をきたして半べそかきながら仕事してる代表の国本です。 今回は当社が携わった有料制の音楽配信サービスプロジェクトを題材に、音楽や動画など転送量が多いWebサービスをAWSなどのクラウドで配信する際に気をつける点についてお話しようと思います。 といいましても。本エントリーではCloudFrontやElastic Transcoderなどの技術要素ではなく動画や音楽配信にかかる費用にフォーカスをあててお話をします。 題材となるプロジェクトの概要 法人をターゲットとした有料会員制音楽配信サービス 現行アプリがFlashを用いて開発された古いアプリのため、iPadやスマホで利用できない インフラとアプリケーションをリプレースし、iPadやスマートフォン対応を行いたい 有料会員数500名〜1000名で24時間のサービス稼働前提
Amazon EC2 で M1,C1 インスタンスを使ってる人は今すぐ C3 を使い始めよう - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 Amazon EC2 を利用するとき、スタンダードな利用にはとりあえず M1、ちょっとしたCPUバウンドな処理が多い場合には C1 を使っちゃいますよね。そんなアナタはものすごく損をしている可能性が高いです。 先々週の AWS re:Invent で発表になった新しい Amazon EC2 インスタンスタイプ である「C3」の値段を見ると、実はとてもおトクであることが分かります。 注意 2013/11/24 の各タイプについて、Linuxを東京（2013.11.26訂正：リージョンの記載を間違えてました）米国東海岸リージョンでオンデマンドで利用する場合の値段を基準としてます。 データの永続化に使うディスクは別途EBSをアタッチして利用することを想定してます。あまりインスタンスストレージにこだわらない場合の前
スケールアウトを自動化する
ELBを使った構成を、負荷に合わせて自動的にスケールアウト、もしくはスケールインさせるAutoScalingの使い方を説明します。 「ELBでスケールアウトする」で紹介したElastic Load Balancing（ELB）を使うことで、AWSでスケールアウトする構成を簡単に作れるようになります。 AWSではこの構成を、負荷に合わせて自動的にスケールアウト、もしくはスケールインさせることが可能です。これをAutoScaling（オートスケーリング）と呼びます。 AutoScaling機能の利用自体には追加費用は発生しません。AutoScalingによって増やされたEC2インスタンスの利用料、通信料に対して費用が発生するだけです。 AutoScalingの設定 AutoScalingを利用するには、［Launch Config］（起動設定）と［Auto Scaling Group］設定とい
大量同時アクセスに備えて ELB を Pre-warming 状態にしておく – I'm Sei.
普段 EC2 を使っていると、ロードバランサーは導入の手間的にほぼ ELB 一択になっちゃいます。 ヘルスチェックはもちろん、高負荷時には自動でスケールしてくれるし、最近やっとコンソールから使えるようになった Auto Scaling とも連携してくれるので、たいへん重宝しています。 ただ、スケールすることを前提としているため、初期状態ではそこまで性能が良くありません。 自分が試した限りでは、HTTPリクエストは 2000 req/s くらいしか捌けませんでした。 また、転送量も 800 Mbps (100 MB/sec) くらいしか稼げませんでした。 (HTTPS の使用や Keep-Alive の設定によっても変わるので一概には言えませんが、ざっくりこのくらいということで。) また、公式のドキュメントによると、スケールするのに 1 ~ 7 分はかかるらしいです。 したがって、徐々にアク
AWS ELBが応答ファイルが存在しEC2インスタンス起動しているのにOut Of Serviceとなる場合の対処 - tech.guitarrapc.cóm
AWS には ELB (Elastic LoadBalancer) があります。 非常に優れているので、誰もが使っていることかと思います。 このELBですが、EC2 Instance を 何らかの意図で応答ファイル (health.txt など) を外してOut Of Service にして作業することがしょっちゅう発生しますが、稀に ELB に紐づいた EC2Instance がずっと Out Of Service になる場合があります。 今回は、その対処方法についてです。 結論 ELBにRegisterされたまま通信が阻害される作業は行わない 原因 当然といえば当然ですが、これが原因です。 ELB応答ファイル (health.txt) への 仮想ディレクトリへの不通とは 例えば、 IIS をお使いの場合はサイトの停止が該当します。 その他 Apache や nginx を使っていても同
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
[AWS][Shell] ローカルのやつをAWSにrsyncしてみる
gistfile1.sh P^y��U �H���U #確認 rsync --dry-run -av --delete --exclude ".DS_Store" --exclude "tmp/*" -r -e "ssh -i rsynctestkey.pem" ~/Desktop/rsync_test/foo/ ec2-user@ec2-XX-XX-XX-XX.ap-northeast-1.compute.amazonaws.com:/var/www/bar/ #実行 rsync -av --delete --exclude ".DS_Store" --exclude "tmp/*" -r -e "ssh -i rsynctestkey.pem" ~/Desktop/rsync_test/foo/ ec2-user@ec2-XX-XX-XX-XX.ap-northeast-1.compu
![[AWS][Shell] ローカルのやつをAWSにrsyncしてみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/1ef26f6cb4349557952890dbe3e567f7f98dc151/height=288;version=1;width=512/https%3A%2F%2Fgithub.githubassets.com%2Fassets%2Fgist-og-image-54fd7dc0713e.png)
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
Amazon RDSのMySQLにSequel Proで接続する設定方法 | Lancork
※当ブログではアフィリエイト広告を利用しています。 PHP+MySQLのシステムでのデータベース管理といえばPHPMyAdminですが、MACではGUIでデータベース管理ができる「Sequel Pro」というソフトがとても使いやすいです。昨今ではWordPressでサイト構築する際、Amazon EC2とAmazon RDSを使う方も多いと思います。 そこでSequel Proを使用して、Amazon RDS上のMySQLに接続し、データベース管理を試してみたので設定方法をメモします。 Sequel Proのダウンロード・インストール Sequel Pro公式サイトよりディスクイメージをダウンロードし、インストールします。 Amazon RDS上のMySQLへの接続方法 前提条件 前提として、以下のような状態となっている必要があります。 EC2インスタンスが作成されており、Security
ブログの高速化に。AWSのCloudFrontの設定手順まとめ
ブログの高速化に。AWSのCloudFrontの設定手順まとめ Publish2013/02/28(木) 今日は自分用メモをかねてブログの高速化に役立つAWS(Amazon Web Service)のCDNであるCloudFrontの設定について書きます。 CDNについてご存じない方の為に引用。 CDN【Contents Delivery Network】（コンテンツデリバリネットワーク） ファイルサイズの大きいデジタルコンテンツをネットワーク経由で配信するために最適化されたネットワークのこと。CDNを構築・運用し、企業などに有料で利用させるサービスをコンテンツデリバリサービス(CDS)という。 狭義にはデジタルコンテンツの大量配信に対応したネットワークを指し、広義にはファイルの配布ポイント管理から課金・認証システムまで、デジタルコンテンツの配布や販売に必要な機能をひととおり揃えたシステム
Amazon EC2でIDS(侵入検知システム)を導入する – AIDE – | DevelopersIO
IDS(侵入検知システム)とは IDS(Intrusion Detection System)は、不正な第三者からの侵入を検知して通知する仕組みです。主にネットワーク型とホスト型があり、前者の代表的なツールはsnort、後者はtripwireです。始めは、自前でセットアップしたsnortから試そうと思ったのですが、Amazon EC2はプロミスキャスモード(ネットワークに流れる全てのパケットを受信するモード)を禁止しているため使えません。解決方法として、商用snortを提供しているSourcefire社の専用AMIを使う必要がありそうです(プロミスキャスモードで動くのかな？)。よし、じゃぁこのAMIを使おうと思ったら、このAMIは東京リージョンには無いw。そこで、ネットワーク型のIDSは別の機会として、今回は、ホスト型IDSの動作確認をすることにしました。ホスト型IDSで、Amazon L
HDD負荷の原因となったプロセスを特定する : 電子の密林を開拓する
今回は、(CloudWatchではなくて) ふつーの Linux 的な方法で 負荷原因となっているプロセスを特定するための方法について調べます。 ・前提 複数のプログラムが動作している状況で、いずれかのプログラムがHDDを高頻度に利用し、サーバ負荷を高めている。この負荷原因となっているプログラムとプロセスを特定したい。 ここでは、「負荷試験用にEC2ラージインスタンスを用意し、sysbench を使ってソコソコ以上の HDD 負荷を発生させる」という状況を作っておきます。 今回は負荷試験が目的なので、負荷試験中でも快適な(?)操作が出来るように性能の高いEC2インスタンスにしてみました。 ・EC2インスタンス作成と準備 まずは EC2インスタンスを作成します。 HDDの負荷試験を行うので、EBSタイプでなく InstanceStore (ローカルの EphemeralDisk を使用する)
S3のアクセスコントロールが多すぎて訳が解らないので整理してみる | DevelopersIO
おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="example@example.com" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
ELB に EC2 Management Console を使って SSL証明書を設定する - 503 Service Unavailable
ELB に SSL証明書を設定するのは、EC2 Management Console を使えば簡単にできるので、その方法をまとめてみた。 1. ELBの作成ELBを作成し、ListenerにHTTPS を追加する。 ※ 既存のELBがある場合は、対象のELBのListenerにHTTPSを追加する。 2. SSLをアップロード「Upload a new SSL Certificate」を選択して、下記の通り登録する。 Certificate Name:任意の名称 Private Key:秘密鍵 Public Key Certificate:証明書 Certificate Chain:中間証明書（複数ある場合は連結して登録） 3. 確認HTTPSのURLを参照して、正しく表示できれば設定完了。
AWS環境におけるSSL証明書の登録申請〜AWSへのアップロードまでの作業手順 | DevelopersIO
当エントリはSSL証明書自体の発行依頼を行ってから、AWS環境にアップロードして使えるようになるまでの流れを整理したものです。内部向け、というか完全オレ向け備忘録な内容になってしまいますが、同じ様な手順を行うケースは(人と場合によっては)あるでしょうし、その際の手順書的な位置付けで参照して頂ければ、と思います。ちなみに私はこの一連の作業を行う事は今回が初めてでした。 証明書登録申請処理を行う 今回新たに入手する事にした証明書は、GeoTrust社のもの。 SSLサーバ証明書 ジオトラスト(GeoTrust) - 公式サイト 申請にあたって必要となる情報 申請責任者に関する情報(名前、電話番号、メールアドレス等) 技術担当者に関する情報(名前、電話番号、メールアドレス等) 証明書登録に関する情報(CSR、申請承認メールの配信先、Whois登録メールアドレス等) この辺の情報は時と場合によって
AWSに適切なSSL証明書の購入を考える | DevelopersIO
どのSSL証明書を買えば良いかよく相談されます AWS関連のお仕事をするようになって、お客様からよく相談されることの第3位ぐらいにSSL証明書の購入があります。毎回同じ説明するのも面倒なのでw、ブログでまとめたいと思います。 SSL証明書の安心感 SSL証明書には大きく分けて3つ（+1つ）の安心感レベルが存在します。 EV SSL証明書 EV SSL（Extended Validation SSL）証明書は、今のところ最も安心感のある証明書です。これを取得するためには、企業が実際に存在していること等、世界統一の認証プロセスがあり、日本では取得するために企業の登記簿謄本と印鑑証明書等の公的な文書が必要になります。ブラウザのアドレスバーが緑色になったらこの証明書を使っていることになります。最も新しい証明書の種類です。企業が自社の安心感を証明するものとして使うため、お値段もかなり高いです。 企業
Elastic Load Balancingのヘルスチェックだけ認証から外す | DevelopersIO
ELBのヘルスチェックって？ ELBでは配下のEC2インスタンスが正常に動いているか定期的に接続確認をしています。これをヘルスチェックといいます。自動でインスタンスの数を調整してくれるオートスケーリング設定のトリガーとなりますので、正しく動いていないと困ります。最近何件か続いていた問題があったのでご紹介したいと思います。 開発中のサーバに認証をかける EC2インスタンスにApacheなどのWebサーバを立てて複数の場所から関係者のみ動作確認をしたい場合、一番てっとり早い方法はドキュメントルート以下全てに認証を掛けることです。しかし、ここに落とし穴があります。ELBのヘルスチェック用URLにも認証を掛けてしまって、ELBからのチェックが通らなくなってしまうことです。今回は、特定のURLのみ認証から外す設定を行ってみたいと思います。 ざっくり認証を掛けてしまう例 こちらはザックリとドキュメント
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.s3rsync.com/