［Cloud ＆ BigData］「Hadoopは神のようなエンジニアを不要にした」――。米アマゾンが講演
「10Gバイトのデータでもビッグデータだ。神のようなエンジニアを不要にするHadoopを使えばビッグデータ活用コストを下げられる」――。米アマゾン・ウェブ・サービシズ（AWS）のJohn Rauser Principal Quantitative Engineerは2012年2月28日、聴衆にこう語りかけた。同氏はクラウドコンピューティングの専門展「Cloud Days Tokyo/スマートフォン＆タブレット/ビッグデータEXPO」で、「The Changing Economics of Data: A View From Inside Amazon」と題して、米アマゾンにおけるビッグデータ活用の実際を事例を交えながら講演した。 Rauser氏はまず米アマゾンにおけるビッグデータ活用の事例を話した。2008年、アマゾンのアフィリエイトシステムは性能面の限界を迎えていた。そこで複数台で分散処
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
Amazonクラウド、SSD上の新NoSQLデータベース「DynamoDB」を公開。性能をダイナミックに上げ下げ可能
Amazonクラウド、SSD上の新NoSQLデータベース「DynamoDB」を公開。性能をダイナミックに上げ下げ可能 「DynamoDBは、15年にわたる大規模なNoSQLデータベースとクラウドサービスから学んだことの集大成だ」（DynamoDB is the result of 15 years of learning in the areas of large scale non-relational databases and cloud services.）。Amazon Web Serviceが新サービスとしてβ公開したDynamoDBについて、Amazon.comのCTOであるWerner Vogels氏は自身のブログAll Things Distributedのエントリ「Amazon DynamoDB – a Fast and Scalable NoSQL Database
Amazonクラウドの大規模障害を経て、これからは「データセンターはいつか落ちる」ことがサービス設計の前提となる
4月21日に発生したAmazonクラウドの米国東海岸データセンターで起こった大規模障害により、Foursquare、Quora、Herokuなど多くのサービスに影響がありました。 すでに障害は復旧し、Amazonクラウドの運営チームからは詳細な報告と今後の対応策について記したドキュメント「Summary of the Amazon EC2 and Amazon RDS Service Disruption in the US East Region」が公開されています。公式な日本語訳「 米国東リージョンにおける Amazon EC2 と Amazon RDS のサービス障害 の概要 (参考和訳）」（pdf）も公開されました。 これによると、障害はネットワークの構成を間違えたことをきっかけにして、ストレージサービスの「Amazon Elastic Block Store（EBS）」やデータベ
Amazonクラウドの大規模障害、そのときに内部で何が起きていたのか？ 日本語での要約
4月21日から23日のあいだ、Foursquare、Quora、Herokuなど多くのサービスに影響を与えたAmazonクラウドの大規模障害。このとき実際にどのような障害が発生していて、どう対応したのか、詳しい日本語での資料がAmazonから公開されています。 この資料は非常に詳細に記されているため、短時間で内容を把握できるものではありません。そこで本記事では資料からポイントを引用し、要約してみました。 以下からの記事はあくまで独自に内容を要約したものです。正確な情報は原文をご覧ください。 今回発生した障害とは何だったのか？ 今回発生した障害を手短にまとめると、米国東 (US East) リージョンにおける一部のアベイラビリティゾーンにおいて、Amazon Elastic Block Store (EBS) で読み込み、書き込み操作が行えなくなる、という現象でした。 そして障害の影響は一部
Amazon EC2を使う前に知っておきたいこと色々:phpspot開発日誌
Amazon EC2を使う前に知っておきたいこと色々。 仕事でEC2を使っているのですが、やって見る前に思い描いていたことと、実際にやってみると相違があったりしました。やる前に知っておくといいことをまとめてみました。 EC2を使う予定の方は参考まで。 それでは早速。 インスタンスの 32bit か 64 bit に注意する EC2では負荷が高くなったらハイスペックなインスタンスに変えればいいというのがありますが、32bitのOSイメージを64bitのインスタンスに入れることは出来ません。 最初はsmallインスタンス(最近ではmicro)から始まると思いますが、32bit でいうとハイスペックなもので High CPU のインスタンスまでになっています。それ以降は64bitなので、そこで環境を作り替えないといけなくなります。 とはいえ64bit環境はLargeからで安いとはいえないので、こ
米アマゾン、JavaアプリケーションのPaaSを開始
米アマゾン・ウェブ・サービシズは2011年1月19日（米国時間）、Javaで開発したWebアプリケーションのPaaS（プラットフォーム・アズ・ア・サービス）である「AWS Elastic Beanstalk」を開始した。Javaプログラムのファイルをアップロードするだけで、数分後にはアプリケーションが稼働し、その負荷に応じて仮想マシン台数が自動的に増減する。 AWS Elastic Beanstalkは、ユーザーがアップロードしたJavaプログラムを稼働させるのに必要な仮想マシンやロードバランサー、Webアプリケーションサーバー「Tomcat」、Webサーバー「Apache」などを、ユーザーに代わって同社が設定し、仮想マシン貸しサービスの「Amazon EC2」上に展開するというサービスである。 同社はAWS Elastic BeanstalkをPaaSであると明言してはいないが、米グーグ
Amazonがプライベートクラウドのサービスを開始、「プライベートクラウド」がバズワードから現実に － Publickey
Amazon Web Servicesが、Amazonクラウド内にプライベートクラウドを設定できるサービス「Amazon Virtual Private Cloud」（以下、Amazon VPC）のβ運用を開始したと発表しました。いままでバズワードとして広がっていたプライベートクラウドに対して、間違いなく大きなインパクトとリアリティを与えるサービスとなるでしょう。 プライベートクラウド内でインスタンスを立ち上げる Amazon VPCの利用には、まずAmazon VPC内にプライベートクラウドの領域を作成し、プライベートIPアドレスの範囲を割り当てます。これで他から分離されたプライベートクラウドの領域を確保できたので、そのプライベートクラウドに対してIPsecを使ったインターネットVPN経由でアクセス可能になります。 続いて、プライベートクラウドに対して通常のAmazon EC2の利用時と
Amazon.com、社内システムをクラウドへ移行中。オンプレミスからクラウド移行へのケーススタディ
「ドッグフードを食べる」とは、開発中の自社製品の使用をマイクロソフト流に言った言葉ですが、それを「自分たちのシャンパンを飲む」（drink our own champagne）と言い換えたのは、社内システムを自社サービスであるAmazonクラウドに移行しているAmazon.comのIT部門ディレクター Jennifer Boden氏。 Amazon.comは、社内システムとしてオラクルのeBusiness Suite、BMCソフトウェアのRemedy AR System、マイクロソフトのSharepointやExchange Serverなどをオンプレミスで使用していましたが、これをAmazonクラウドへ移行したとのこと。 SearchCloudComputing.comの記事「Amazon.com attempts IT switch to cloud computing」がその様子を伝
「Dynamo: Amazon's Highly Available Key-value Store」のまとめ: Akito's IT技術 メモ
タイトル: Dynamo: Amazon's Highly Available Key-value Store 著者: Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, Gunavardhan Kakulapati,Avinash Lakshman, Alex Pilchin, Swaminathan Sivasubramanian, Peter Vosshall and Werner Vogels 出展: SOSP'07 Dynamoは，兎にも角にも，「カートに商品を追加」処理を，いつでも受け付けられるためにAvailabilityを最優先するAmazonのシステム 実際に大規模なシステムを運用しているAmazonならではの，実装上・運用上の工夫が色々と述べられている論文 * Abstract consistency(C)を犠牲にしてav
Amazonクラウドの内部アーキテクチャを推測する2つの記事 － Publickey
ITproに2月5日付けで掲載された記事「中古クラウド、あります - 記者の眼」で、高橋秀和記者がAmazon EC2の内部で使われているサーバのCPUが複数種類あることを、調査の上で明らかにしています。 高橋記者はこれまでITproでAmazon EC2での運用を担当してきた経験から、Amazon EC2のデータセンターによってサーバのCPUが異なることに気がつき、起動後の仮想マシンでCPUの種類を確認するコマンドを実行。どのような種類のCPUが使われているかを調べています。 その結果、6種類のCPUが確認できたそうです。記事の表から引用します。 AMD Opteron 270 AMD Opteron 2218 HE Intel Xeon E5345 Intel Xeon E5410 Intel Xeon E5430 Intel Xeon X5550 AMDとIntelの両方を用いており
Amazonの決済システムが外部サイトで直接利用可能に
米Amazon.comの子会社である米Amazon Paymentsは米国時間2010年9月9日、同社の決済システム「Checkout by Amazon」の強化について発表した。Amazon.comサイトのアカウントを所有しているユーザーは、外部の小売販売サイトで商品を購入する際に、その場で同システムを利用できるようになる。 小売販売サイト内から、Amazon.comに登録している決済手段やアドレス帳を利用できるため、サイトを離れずに簡単に決済手続きが行える。従来は、購入ボタンをクリックした後、決済や配送手続きのためにサイトを移動しなければならなかった。また、ユーザーが勘違いし、購入が完了せずキャンセルになることもあった。 既存の決済フローとの統合は、短時間で簡単に行えるという。Checkout by Amazonの仕組みや実装方法については、Amazon PaymentsのWebサイト
第1回 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp
今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。 Kaiとは Kaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。 Kaiは多
2年前の障害報告書から学んだAmazon S3の凄さ
「Amazon EC2」は、誤解されている。筆者は最近、そう強く思っている。あなたがもし「Amazon EC2は単なる仮想マシンサービス」と思っているなら、考え直してほしい。Amazon EC2の本当の価値とは、実はストレージサービスの「Amazon S3」にある。 最近日本でも、Amazon EC2対抗をうたう仮想マシンサービスが増えている。Webサイトからの申し込みだけで利用でき、課金は1時間単位。Webベースの管理ツールから簡単に仮想マシンを起動できて、ロードバランサーなども手軽に設定できる。日本のサービスも、仮想マシンに関する機能面ではAmazon EC2に追いつき始めている。 しかし、全く敵わないのが、ストレージサービスであるAmazon S3だ。 Amazon EC2の最大の特徴は、利用者が様々な種類の仮想マシンを、管理ツール上でのクリック操作一つで、素早く展開できることだ。「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アマゾンのクラウドを支える謎のサーヴァー台数：推定約45万台か
キヤノンソフト、Amazonクラウド上で稼働するクラウドアプリ開発基盤
TechCrunch
Amazonクラウドの強さは、薄利多売ビジネスのDNA―Amazon Web Service ダン・パワーズ氏が講演
アマゾンにおけるAWSを用いた社内システム移行事例
クラウドが実現するビッグデータビジネス