AWS Redshift: How Amazon Changed The Game –
Standard data warehouse table setup. About a dozen numeric columns per table. The largest table (impressions) is 100x larger than the next biggest table (clicks), and 5000x larger than the smallest table (conversions). All tables sorted by date and by user id (SORTKEY), distributed by user id (DISTKEY). Two types of queries. (pardon the pseudo-SQL, see Appendix for full queries) SELECT keys, aggre
噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた - 元RX-7乗りの適当な日々
先日、Amazon EC2で使える、2TB分のSSDを積んだ新しいインスタンスタイプ(High I/O Instances / High I/O Quadruple Extra Large Instance)が発表されました。 ディスクI/O性能が高速なインスタンスは初登場なので、I/Oがシビアに要求されるデータベース等の利用においては、期待を寄せちゃいますよねー。 http://aws.typepad.com/aws_japan/2012/07/aws%E7%99%BA%E8%A1%A8-new-high-io-ec2-instance-type-hi14xlarge-2-tb-of-ssd-backed-storage.html というわけで、このSSDのディスクI/Oパフォーマンスがどのくらい速いのかを試してみちゃいました。厳密なベンチマークではないですが、参考になれば幸いです。 ・
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用 急速に人気が急上昇するWebサービスでは、どのようにスケールするアーキテクチャを構築し運用していくのかはサービスの成否を分けるほど重要です。Pinterestのように急成長してきたサービスのソフトウェア構成やリソース構成はどうなっているのでしょうか、Web上でいくつか情報が公開されているのでまとめてみました。 Pythonで開発し、Amazonクラウドで運用 1年ほど前なので少し古い情報ではあるのですが、Q&AサイトのQuoraにPinterestのco-founder Paul Sciarra氏が書き込んだソフトウェア構成の説明があります。 PinterestはPythonで開発されており、MemcachedやNginxなど高速なレスポンスに配慮した構成になっている様子がうかがえま
Fake S3 – Save money, time, and develop offline -
Saving Time and Money with Fake S3 Online storage has become a necessity to many people. This is because of the security associated with online storage. One of the most common online storage is the Simple Storage Service, popularly known as S3, offered by Amazon Web Services. In as much as it is a good service, we at spool believe that the Amazon guys are exploiting people. Amazon S3 is a extremel
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
Amazonクラウド、PHP対応PaaS機能を追加。Gitによるデプロイも可能に
クラウド上でPHP 5.3の環境が用意され、負荷に応じてインフラがスケーラブルに対応してくれる。Amazonクラウドが提供するPaaS機能である「Elastic Beanstalk」に、このようなPHP対応機能が追加されました。 Amazon Web Services Blog: AWS Elastic Beanstalk - Build PHP Apps Using Git-Based Deployment Elastic Beanstalk自体は無料で利用できます。必要な費用は、使用したAmazon EC2などのインフラ利用料のみ。 Elastic BeanstalkのPHP対応を紹介したブログから、説明を引用します。 Under the hood, Elastic Beanstalk leverages AWS services such Amazon EC2, Elastic Lo
AWS News Blog
Announcing General Availability of Step-by-Step Guides for Amazon Connect Agent Workspace At AWS re:Invent 2022 we announced the availability of step-by-step guides for Amazon Connect agent workspace in preview. My colleagues who collaborated to write the announcement post wrote about some of the challenges that contact centers face with training new agents to get up to speed with their agent desk
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
RubyからAmazon SESでメールを送る - プログラマでありたい
プログラムからちょこっとメールを送りたい時って、ありますよね？メールサーバを立てること自体はそれ程大変ではないですが、維持管理していくのは昨今非常に面倒くさいです。またスパム撲滅の為にプロバイダの規制が多くて、気が付いたら送れなくなっていたということもあります。 そんな時にお薦めなのが、Amazon Simple Email Service (Amazon SES)。プログラムからメールを送るのに最適なサービスです。料金も安くて、1,000通あたりで$0.10。使わない手はないですね。ということで、Rubyから使う方法を簡単にまとめてみました。そんなに難しくないのですが、DKIM署名の辺りが面倒くさいかなぁと思います。 サインアップ 本格的に使うには、管理コンソールからRequest Production Accessを行う必要があります。これは、任意のアドレスからメールを送る為に必要です
大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
さあ、AWSをはじめよう！ for PHPer
春ということで、Amazon Web Services（AWS）をはじめてみませんか。 AWS盛り上がっていますね。2011年3月に東京リージョンができたことで、そろそろ触ってみようかなというPHPユーザの方も多いかと思います。 そんなあなたへ、AWSをはじめる際に役立つ情報をご紹介です。 1. AWSアカウントを新規作成して、EC2の利用申し込みを行う まずAWSのアカウントを作成して、EC2の利用申し込みを行います。 手順については、AWSエバンジェリストの @KenTamagawa さんが書かれた以下の資料が参考になります。このとおりに進めていけば、おおよそ問題無いと思います。 進める中で自分が詰まった点は以下。 郵便番号、電話番号にはハイフンを 郵便番号、電話番号はハイフンが必要なので入力するようにして下さい。 書式は日本国内のもの、郵便番号8ケタ（ハイフン入り）、電話番号は12〜
同人作品をAmazonにおいてみた
たにみちの@BA-KU @taninon 手順としてはJANの登録、月額料の支払い、などなどがある為、一作品でペイするかというと多分難しいと思います。ただ、登録自体はすっごい簡単。とらのあなとかに登録するより簡単。
Ruby/Amazon S3を使う - 俺の基地
バージョンと製造年月日 2009年09月08日 Ruby 1.8.6 aws-s3 0.6.2 WindowsXP SP3 ▲ ▼ 環境構築 AmazonのストレージサービスをS3から使うライブラリ aws-s3 があるのでこいつをインストールする gem install aws-s3 こいつには3つの依存性がありgemなら自動的にインストールされるんだが、一応乗っけておく xml-simple http://rubyforge.org/projects/xml-simple/ builder http://rubyforge.org/projects/builder/ mime-types http://rubyforge.org/projects/mime-types/ ▲ ▼ 接続設定 まず接続設定を行う。こいつはAmazonのサービスで毎度使う、生成idとkeyの
【レビュー】良くも悪くも『Amazon EC2』は"自由"だった - MOONGIFT運営でわかったこと (1) コストは算出しづらいが…… | ネット | マイコミジャーナル
Amazon EC2の利用を考えていますか? 筆者の管理サイト「MOONGIFT」は、2008年3月にAmazon Web Services(AWS)が提供する『Amazon EC2』(Amazon Elastic Compute Cloud)上での運営に切り替えました。今年に入ってから"クラウド"という単語が出回るようになり、その先駆者とも言えるAmazon EC2に注目が集まっています。日本の企業や個人であっても利用者が増えているのは事実ですが、実際の利用にまで踏み切れず躊躇している方が多いのもまた事実です。要因としてはセキュリティの確保や、米国のデータセンターにデータが預けられること、速度面での問題など様々に考えられますが、もっとも大きい問題としては未知なものに対する怖さがあるのだと思われます。 そこで今回はMOONGIFTがこれまでAmazon EC2を利用してきた中で感じたメリッ
アマゾンの90%OFFなどの特価商品を簡単に探す方法 - ひとぅブログ
アマゾン（Amazon）は日本でも着実に支持を集め「1,500円以上送料無料」が多くのインターネットショップの標準となっていますね。本やCDに限らず、おもちゃや家電製品、パソコン、さらには食品などあらゆる商品を取り扱うようになってきました。 元々、価格の安い商品が多いアマゾンですが、たまに「90%OFF」など信じられないセールをする場合があります。この値引き手法はあのドン・キホーテと同じと言われています。大量の在庫処分品などが持ち込まれるケースも少なくないとか。 そんな超お得な商品の情報は、アマゾンのメールマガジンやAmazon.co.jp: セール・バーゲン・お買い得情報 でゲットすることができますが、もっと簡単に、興味のあるジャンルで割引率を指定して検索する方法をご紹介します！ アマゾンのトップページにアクセスし左メニューから希望のカテゴリをクリックします。（ここでは「パソコン・周辺機
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cloudpackブログ - EC2の障害復旧パターン
データセンター視点で比較したクラウドの内側