How to crawl a quarter billion webpages in 40 hours – DDI
More precisely, I crawled 250,113,669 pages for just under 580 dollars in 39 hours and 25 minutes, using 20 Amazon EC2 machine instances. I carried out this project because (among several other reasons) I wanted to understand what resources are required to crawl a small but non-trivial fraction of the web. In this post I describe some details of what I did. Of course, there’s nothing especially ne
redhat.com | jboss document
Cloud ComputingRed Hat Advanced Cluster Management for KubernetesRed Hat® Advanced Cluster Management for Kubernetes controls clusters and applications from a single console, with built-in security policies. Extend the value of Red Hat OpenShift® by deploying apps, managing multiple clusters, and enforcing policies across multiple clusters at scale. Red Hat’s solution ensures compliance, monitors
EC2に全く新しいSSD-Backed EBSがきたぞ！ - りむっちスケッチ
この瞬間を待ってたぞ！ New SSD-Backed Elastic Block Storage http://aws.amazon.com/jp/blogs/aws/new-ssd-backed-elastic-block-storage/ とりあえず公式ブログをざっくりよんでまとめた。 これまでのEBS A Single EBSボリュームで4000IOPSが最大 (1GB - 1TB ディスクサイズにも依存) Multiple PIOPS EBSボリュームで48,000IOPS (with raid) これからのEBS General Purpose (SSD) availabiility 99,999%(3ナイン） これまでの10倍のIOPSに1/10のレイテンシー 期待通りに3,000IOPSが出る (Base performanceという考え方） GBごとに３倍のIOPSを提供す
【AWS】CloudFormationの作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
はじめに こんにちは植木和樹です。5月にクラスメソッドに入社してから毎日CloudFormationと戯れる日々を過ごして来ました。クラスメソッドのAWSエンジニアにとってCloudFormationが必須技術になりつつあるので、これまでに溜め込んだノウハウ社内向け資料としてまとめてみました。せっかくなのでこれからCloudFormationを始める方向けに公開してみようと思います。 スタックに関するノウハウ スタック内リソースの「破棄」タイミングを合わせる CloudFormationというとEC2やRDSをバッチ的に「構築」する機能に着目しがちです。しかし当然のことながら一度作ったスタックをDELETEすることもあります。その際に削除して欲しくないリソースもまとめて消されてしまうことを想定しておきましょう。 たとえばEC2を作成したスタックの中に、EIP（グローバルIP）が含まれていた
EC2インスタンスをELBからの接続のみを受け付けるようにする | 株式会社イーライセンスシステムズ
この記事では、ELBを作成し、EC2への負荷を分散するで設定したELBとEC2インスタンスを例に、 EC2インスタンスへのアクセスをELBからのみに制限する設定の方法を説明します。 【作業概要図】 前提 この記事の手順では、ELBを作成し、EC2への負荷を分散するで設定したELBとEC2インスタンスを流用して設定を行います。 ELBの作成方法については、上記の記事を参照してください。 設定手順 設定にはEC2の管理画面を開いて、以下の手順に従います。 左メニューから「Security Groups」を開きます。 ELBに割当てたSecurity Groupを選択し、そのGroup IDを確認します。 今度は、EC2インスタンスに割当てているSecurity Groupの設定を開き、 アクセス元のSourceを、前項で確認したELBのSecurity GroupのGroup IDを指定
How to auto assign public ip to EC2 instance with boto
Interestingly enough, seems that not many people had this problem. For me was very important to be able to do this right. Without this functionality one is not able to reach out to the internet from instances that are launched into a nondefault subnet. The boto documentation provided no help, there was a related bug recently fixed, see at: https://github.com/boto/boto/pull/1705. It's important to
Python経験ゼロからEIP自動割り当てプログラムを作成するまでの道程【21日目】 | DevelopersIO
オープニング 冒険者くろの（＝筆者）の命の灯火は消えようとしていた。 ※HPバーが100%赤くなっている もうクラスメソッドブログワールドでは生きていくことはできないのか。そうくろのが思った瞬間、どこからともなく女神セレシアの声が聞こた。 「くろのよ立ち上がりなさい。今はまだあなたが光の世界に来る時ではありません」 次の瞬間、くろのをまばゆい光が包み込み、くろのが蘇った。 しかし、くろののジョブは以前ブログを書いていた時代のもの（ジョブ：スマートフォン）とは異なっていた。そのジョブは「クラウド」というジョブであった。 この物語は、女神により新しい生命（いのち）を授かった冒険者くろのが、インフラからアプリケーションの世界までに広がる広大なAWSクラウドの世界を旅する物語である。♪本気(マジ)か!? 本気(マジ（ｒｙ EIP自動割り当てプログラム AWSにおいては、AutoScalingで起動
【CyberAgent】技術情報／TechReport - テックレポート／Amazon Web Servicesについて | 株式会社サイバーエージェント
概要 既存のインフラを利用しないで、「Amazon Web Services」（以後AWS）のみを利用し新規でサービス展開を行う場合に必要な情報、知識をまとめる。 注意 基本的な利用方法を除外し、実際の構築時に必要なトピックスに焦点をあて本ドキュメントを作成しました。 特にオープンに公開されている情報については割愛（Web及び書籍で多数公開されている情報）しています。 補足 本ドキュメントは、2012/08時点でのAWSで提供されているサービスを元に記述されています。AWSは日々新機能がリリースされていますので、利用する際は最新の情報を取得してください。 目次 概要 注意 補足 目次 序論 クラウドのメリット クラウドのデメリット AWSの製品・サービス構成 内容 アカウント管理 Consolidated Billing(一括決済) 使用例 作成手順 補足 AWS Support 補足 A
ELBのCross-Zone Load Balancingを試してみる - okochangの馬鹿でありがとう
こんにちは＠oko_changです。 今回は先日対応されたELBのCross-Zone Load Balancingについて書いてみたいと思います。 Elastic Load Balancing Announces Cross-Zone Load Balancing 上記リンクには、今までのELBは各AZのEC2インスタンスへの分散はDNSに依存する部分があり、DNSのキャッシュ次第では各AZへのトラフィック分散が偏ってしまう可能性があったと書かれています。 しかしこのCross-Zone Load Balancingを有効にする事で、DNSのキャッシュを気にすることなく各AZのEC2インスタンスに同じようにトラフィックが分散されるようです。 ※英語なので間違ってたらごめんなさい＞＜ 今回の検証構成 以下のようにシンプルな構成です。 Cross-Zone Load Balancingを有効
Elastic Load Balancingで複数のゾーンにわたって振り分けるときに気をつけること | DevelopersIO
大量のトラフィックが予想されるサービスを構築する際にAWSを使うと Elastic Load Balancing と Auto Scaling を組み合わせて負荷状況に応じて EC2 を自動でスケールさせることができます。普段はまあまあだけど急に跳ね上がる可能性もある場合にはとても便利な仕組みですよね。 今回はさらに複数の Availability Zone（Multi-AZ）にわたってEC2を配置する際に気をつけたほうがいいところを紹介させていただきたいと思います。 Elastic Load Balancingって？ Elastic Load Balancing（以下ELB）は配下にある複数のEC2の負荷状況に応じてトラフィックを分散してくれます。さらに Health Check という仕組みを使うことでアプリケーションの不具合を検知することもできます。 各設定や状況はAWS Conso
VPC内のEC2インスタンスに複数IPアドレスを割り当てる | DevelopersIO
EC2インスタンスに複数IPアドレスを割り当てる 先日、大きな注目の機能追加がありました。1つのインスタンスに複数のIPアドレスを割り当てられるようになったのです。パブリックIPとプライベートIPをセットにして割り当てることができます。これにより、IPベースのバーチャルホストなどを組むことができるようになります。 ENIって？ ENI(Elastic Network Interface)は、EC2インスタンスに挿す仮想のNIC(ネットワークカード)です。1つのNIC毎に最大で30IPまで設定でき、1つのインスタンス毎に最大で8枚のNICの設定できますので、240のIPアドレスを設定することができます。インスタンスタイプを大きく設定しなければいけませんが、何台もインスタンスを用意することなくたくさんのIPアドレスを使うことができます。 ENIを作成する ENIを使って仮想NICを作成してみま
Amazon EC2 に WordPress をインストール | 林檎生活100
WordPress にデフォルトで含まれているテーマ Twenty Ten がかっこいいなと思ったので、「林檎生活100」をそのテーマで運用するために Amazon EC2 にインストールしてみました。 その手順は下記のとおりです。 Amazon EC2 インスタンス起動 MySQL インストール Apache インストール PHP インストール WordPress インストール 1. Amazon EC2 インスタンス起動 Amazon EC2 のインスタンスを下記のパラメーターで起動します。EC2 のパラメーターは、各自の環境で柔軟に決めてください。 AMI: Amazon Linux AMI 2012.03 (64bit) Instance Type: t1.micro Security Group: TCP 22 (SSH) 0.0.0.0/0 TCP 80 (HTTP) 0.0.
CORS(Cross-Origin Resource Sharing)によるクロスドメイン通信の傾向と対策 | DevelopersIO
CORS(Cross-Origin Resource Sharing)って何？ CORS(Cross-Origin Resource Sharing)は、その名の通り、ブラウザがオリジン(HTMLを読み込んだサーバのこと)以外のサーバからデータを取得する仕組みです。各社のブラウザには、クロスドメイン通信を拒否する仕組みが実装されています。これは、クロスサイトスクリプティングを防止するためです。Aというサイトに訪問したのに、Bというサイトに向けて個人情報を送っていたというのは困りますよね。例えば、オリジンから読み込んだHTML内のJavaScriptでJSONデータを読み込むとしましょう。JSONデータが同じサーバにあれば普通に読み込めますが、別のサーバにある場合は読み込めません。まぁ実際のところはJSONPという仕組みを使ってできちゃったりしますが、抜け道的なやり方で使われていました。CO
動的サイトにEC2を使わない。 - かれ4
CDP Advent Calendar 11日目 クラウドを使うにあたって、EC2をWebサーバに使うことに疑問を感じています。 EC2 Elastic Compute Cloud Computeを提供するサービスなのに、なぜコンテンツを配信なんてしなきゃいけないんだと。 コンテンツの配信はCloudFrontにまかせておけばいいじゃないか。 色々な会社の言ってるクラウドがVPSと区別つかなくなってしまってるのもここに原因があるように思ってます。 と、前置きはこんな所にして、実際に今日提案したいCDPは EC2を使わずに動的なサイトを公開するパターンです。 静的なサイトはS3を使えば簡単にできてしまうので、動的なサイトを。 そもそもなんで動的なサイトをS3に置けないかというと、何かしらの処理をサーバサイドにやらせようとしていたからです。 それを全てクライアントサイドとデータベースでやったら
Amazon EC2 Elastic Load BalancingにSSLを使った場合のnginxのSSL判別 | rake enjoy
久々に技術ネタです。 EC2のElastic Load Balancing便利ですねー。とっても便利です。 何が便利かってSSLをロードバランサーに設定出来るんですね。なので、いちいちインスタンス側に設定しなくてもすみます。 具体的にはまず80番ポートだけでELBを作ります。このあたりはググればすぐ出てくるので割愛します。 次にSSLの設定を行うんですが、CSRの生成とかもよくある話なので飛ばします。 EC2マネージメントコンソールのLoad Balancersから対象のロードバランサーを選択後ListenerからSSLの設定を行います。 Load Balancer ProtocolにHTTPS(Secure HTTP)を選びます Load Balancer Portは443のまま Instance ProtocolはHTTPでInstance Portは80番のままでOKです Ciphe
ELBを作成し、EC2への負荷を分散する | イーライセンスシステムズ技術ラボ
Amazon ELBを作成するこの記事ではELBを作成し、EC2インスタンスへの負荷を分散する手順を説明します。 【作業概要図】 ELBについてELB(Elastic Load Balancing)とは、EC2へのトラフィックを分散するロードバランサー機能です。外部からのトラフィックを、複数のEC2インスタンスにバランシングし、 インスタンスにかかる負荷を分散することができます。また、EC2のヘルスチェックを行い、問題があるインスタンスには割り振らないことも可能なので、 可用性の向上にも利用する事ができます。詳しくは、公式サイトを参照してください。前提今回の手順では、80番ポートへのHTTPアクセスを、2つのEC2インスタンスに振り分けます。そのために、事前にVPC内にApacheを立ち上げた2つのEC2インスタンスを作成して、 外部から80番ポートへのアクセスを許容するSecurity
Amazon VPC内で内部ロードバランサーを使う | DevelopersIO
内部ロードバランサーとは 従来から提供されているELB(Elastic Load Balancer)は、インターネットからのアクセスに対して、AZ(Availability Zone)をまたがった負荷分散を行っていました。今回の発表により、VPC内において、インターネットに公開していないサブネット内部のサーバを負荷分散できるようになりました。これにより、例えば外部から接続されるWebサーバはインターネットELBを使い、内部から接続されるAPサーバは内部ELBを使うといった、多段階の負荷分散ができるようになります。今までの作法として、WebとApサーバを同じEC2インスタンスにまとめることで管理を楽にしていましたが、これからは、それぞれ別に負荷分散をすることができるようになります。 WebサーバとAPサーバそれぞれで負荷分散 以下のような形でテスト環境を作ってみます。 VPC内で2つのAZに
噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた - 元RX-7乗りの適当な日々
先日、Amazon EC2で使える、2TB分のSSDを積んだ新しいインスタンスタイプ(High I/O Instances / High I/O Quadruple Extra Large Instance)が発表されました。 ディスクI/O性能が高速なインスタンスは初登場なので、I/Oがシビアに要求されるデータベース等の利用においては、期待を寄せちゃいますよねー。 http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-storage.html というわけで、このSSDのディスクI/Oパフォーマンスがどのくらい速いのかを試してみちゃいました。厳密なベンチマークではないですが、参考になれば幸いです。 ・
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
【AWS】EC2でローカルインスタンスかEBSのどちらを選ぶべきか | 遊びとお勉強の村