Amazonクラウドの内部アーキテクチャを推測する2つの記事 － Publickey
ITproに2月5日付けで掲載された記事「中古クラウド、あります - 記者の眼」で、高橋秀和記者がAmazon EC2の内部で使われているサーバのCPUが複数種類あることを、調査の上で明らかにしています。 高橋記者はこれまでITproでAmazon EC2での運用を担当してきた経験から、Amazon EC2のデータセンターによってサーバのCPUが異なることに気がつき、起動後の仮想マシンでCPUの種類を確認するコマンドを実行。どのような種類のCPUが使われているかを調べています。 その結果、6種類のCPUが確認できたそうです。記事の表から引用します。 AMD Opteron 270 AMD Opteron 2218 HE Intel Xeon E5345 Intel Xeon E5410 Intel Xeon E5430 Intel Xeon X5550 AMDとIntelの両方を用いており
スケールアウトからスケールアップへの回帰:Kenn's Clairvoyance
これを書こうと思ったキッカケは、奥一穂さんの「ウェブアプリケーションサーバを複数台構成とか2010年代には流行らない」っていう、最近モヤモヤと感じていたことをうまく説明してくれてる記事をみたこと。 年始からちょくちょくサーバの運用環境を物色しながら考えていたことと見事にシンクロした。だいたいの要旨はTwitterのほうでも書いたのだけれど。 ムーアの法則でどんどん向上する技術にくらべ、人間のキャパシティは変化しない定数項として考えていい。だとすれば、そうやって向上する性能を、人間の労力を削減する方向で使えてはじめて、「技術が競争優位性を生む」といえるだけの破壊的な価値がでてくるということになる。 では、現在の技術トレンドを活用することで減らせる「人間の労力」とは何か。 それは、過去10年あまりで定着した、これまでの（そして今なお）Webアプリケーションの定番構成である、「ロードバランサ、ア
マイクロソフト萩原正義氏MIJS講演「スケールアウト設計における問題点の考察と分析手法の提案」 : 小野和俊のブログ
昨年末にMIJSのコンソーシアム内での交流会があり、前回のはてな伊藤さん講演に続き、理事会の方から講演者の選定とコンタクトを依頼されたので、マイクロソフトの萩原さんに「クラウドの時代のデータモデリング」の講演をお願いした。 今回萩原さんに講演をお願いしたのは、以前参加させていただいたマイクロソフト系のイベントでの萩原さんの講演が大変興味深い内容だったからだ。 以下、今回の講演を聞きながら私がメモした内容である。 「スケールアウト設計における問題点の考察と分析手法の提案」 現在マイクロソフトでクラウドの技術のうち、開発の現場に対して、どういうやり方をしなければいけないかを提案する仕事をしている。 今日お話しする内容は、インターネットや書籍で紹介されているものよりも、深いところを話していきたい。とはいえ1時間という短い時間なので、ポイントを絞って話をしていきたい。マイクロソフトはWindows
【クラウドコンピューティング】 2009年振り返りとクラウド事例と記事のまとめ
今年はクラウドが普及した1年だった 2009年もあとわずか、ということで、今年一年を振り返ってみたい。まずは年初に書いた「クラウド予想2009」についてから。 このなかでいえば、「クラウドを利用したWebサービス」は思ったほど出なかった。「Google Appsの一人勝ちだが一般的には広がらない」は、4月にGAE/Jが登場してからは圧倒的だったと思う。（まあ、まだ開発者中心ではあるが） 予想外だったのは、事例が出てくるのが非常に早かったこと。クラウドが流行るのはまだ先の話で、事例は当分出ないだろうと思っていたので、正直、そのスピード感には驚かされた。私自身、最初にクラウドに衝撃を受けたのが2008年の5月頃（※）だったので、それからまだ2年も経っていないことを考えると、本当にもの凄い広がり方であった。どれくらい凄かったか、以下の事例を見ていただくとよくわかるだろう。 （※ 私はこの記事を見
誰にでも分かる「クラウド」
ここの所、「クラウド」という言葉が一人歩きしているようなので、言葉の定義を明確にして業界関係者間のコミュニケーションをスムーズにすることを試みてみたい。 クラウド・コンピューティング もともとは、すべての計算をクライアント側で行う「デスクトップ・コンピューティング」に対して、（しばしば雲の形で図式化される）ネット上のサーバー側で計算してしまうことを表すために生まれた言葉。しかし、後述の「クラウド・サービス」の普及とともに狭義・広義・誤用・バズワード化が進み、今や「ユビキタス」と同じぐらい使っている人によって意味が異なる言葉になりつつあるので要注意。 クラウド・サービス アマゾンのec2、GoogleのApp Engineのようにサーバーの能力を従量課金方式で提供するサービスのこと。自社サーバーやレンタルサーバーと比べて、初期投資の面でもスケーラビリティの面でも優れていることが特徴。 クラウ
Google Apps採用のロサンゼルス市、特別バージョンを要求
ロサンゼルス市がGoogle Appsを電子メールなどのシステムとして採用したことが、グーグルのブログ「Cloud apps, big city: LA goes Google」などで明らかにされています。 米政府は積極的にクラウドを採用すべく、政府機関がクラウドをベースにしたITサービスをセルフサービスで購入できるポータルサイト「Apps.gov」を公開しています。Google AppsもそのApps.govに登録されているアプリケーションの1つであり、これまでにワシントンD.C.やフロリダ州オーランド市などがすでにGoogle Appsを採用しています（参考：オバマ政権がクラウド調達によるコスト削減策を開始、日本は「霞が関クラウド」のままでいいのか？）。 Google Appsの見かけは同じだが中味は違う ロサンゼルス市などが採用したGoogle Appsは、私たちが普段利用しているG
なぜアジアの巨大データセンターは、日本ではなくシンガポールや上海に作られるのか？
先週、Amazonクラウドのデータセンターがアジアに設置されることが発表されました。いままでAmazon EC2などを利用するには太平洋を越えて通信を行わなければならなかったため、長距離通信で発生する遅延を気にしなければなりませんでしたが、その解消が期待されています。 Amazon、クラウドコンピューティングサービスをアジア太平洋地域に拡大 - ITmedia エンタープライズ しかしアジアにおけるデータセンターの設置場所は日本ではなくシンガポールでした。また、昨日マイクロソフトはWindows Azureのデータセンターを2カ所、アジアに設置すると発表しています。そしてその設置場所はやはり日本ではなく、シンガポールと上海でした。 なぜアジアのデータセンターは日本に設置されないのでしょうか？ シンガポールはデータセンターへの支援政策を実施 「「クラウド・ビジネス」入門 ～ 世界を変える情報
俺はLAMPを辞めるぞぉ、ジョジョ！ - komagataのブログ
Wakame 1.0開発者の募集を締め切りました。 | やむにやまれず Wakame 1.0ではデータセンタで供給すべきスケールアウトのためのインフラからユーザアプリケーションまで垂直に提供できるようになる予定です。 すべての開発者に、開発時から使えるプログラマブルなデータセンタと、運用を楽にするシステムオートメーションを。 クラウドっつってもAmazon EC2みたいのじゃなくてGoogle App Engineみたいに自動でスケールしないと意味無いですよね。要するにどんな規模になってもインフラ専属エンジニアが一人もいらない環境じゃないと意味無いと思うんです。（インフラエンジニアはユーザー企業側ではなく、クラウド提供側に移る） 専用サーバーが定額から従量性に変わっただけの現状の国産主要メーカーのサービスは意味が無い。国産主要メーカーがGAEみたいなのを提供するには、現実的にはパッケージが
［速報］AmazonクラウドがMySQLサービス開始、パッチもバックアップもおまかせ
Amazon Web Servicesがクラウド上でMySQLをホスティングする「Amazon Relational Database Service (Amazon RDS)」のβ公開を開始しました。 インストール不要でMySQLの利用を開始でき、パッチ当てやバックアップなどもAmazonクラウド側で実行してくれるため、MySQLの導入や運用の手間を大幅に削減可能です。 MySQLのインスタンスは規模に応じて5種類が用意されています。 Small DB Instance : （1時間あたり0.11ドル） 1.7 GB memory, 1 ECU (1 virtual core with 1 ECU), 64-bit platform Large DB Instance : （1時間あたり0.44ドル） 7.5 GB memory, 4 ECUs (2 virtual cores with
Amazon Relational Database Service (Amazon RDS)
Amazon Relational Database Service Easy to manage relational databases optimized for total cost of ownership Amazon Relational Database Service (Amazon RDS) is an easy-to-manage relational database service optimized for total cost of ownership. It is simple to set up, operate, and scale with demand. Amazon RDS automates the undifferentiated database management tasks, such as provisioning, configur
クラウド時代のサーバ/ネットワーク自動マネジメントツール Wakame の開発者を募集中 - @kyanny's blog
株式会社あくしゅさんが、 AmazonEC2 のクラウド環境下におけるサーバ/ネットワーク自動マネジメントツールである Wakame の開発者を募集しています。 やむにやまれず : [Wakame]Wakameの開発にご協力くださる方を探しています http://blog.hansode.org/archives/52052018.html クラウド環境下の仮想サーバが物理的なサーバと比べて特に優位なのは、サーバの追加や撤去をスピーディーかつダイナミックに行える点だと思います。ラックや電源やパーツなどの物理的な諸問題を、仮想サーバのユーザーは意識する必要がないから。 とはいえ、まだまだクラウド環境を実サービスの運用に利用するとなると躊躇してしまう人も少なくないはず。それまでのサーバ運用とは、少し違ったノウハウが必要になってくるわけだし、そういう環境に触れたことがない人にとっては勝手がわから
クラウドストレージの標準APIがストレージ団体「SNIA」から提案される
「クラウドストレージ」とはクラウドで提供されるストレージサービスのことで、DaaS（Data Storage as a Serivce）と呼ばれることもあります。このクラウドストレージの操作と管理の標準的なAPIを、ストレージ業界の団体「SNIA（Storage Networking Industory Association」を母体とした組織「SNIA Cloud Storage Initiative」が提唱しています。 SNIA Cloud Storage Initiativeは10月12日に発足したばかりで、EMC、ネットアップ、HP、サン・マイクロシステムズ、シマンテックなどが参加。このSNIA Cloud Storage Initiativeが提唱するクラウドストレージのAPIが「Cloud Data Management Interface（CDMI）（PDF）」と呼ばれるもの
高木浩光＠自宅の日記 - エコポイント申請画面が共用SSLサイト上にある件
■ エコポイント申請画面が共用SSLサイト上にある件 「エコポイント」の情報システムがわずか３週間で完成した理由, 有賀貞一, NIKKEI NET, 2009年8月26日 こうした問題を解決するために、エコポイント事務局と関係省庁が選択したのが、米セールスフォース・ドットコムの基盤サービス「Force.com」だった。セールスフォースはこのForce.comを「クラウドコンピューティングプラットフォーム」と表現している。利用者はサーバーなどのインフラを持つことなく、この基盤上で独自のシステムを構築できる。 という記事を読んで、「エコポイント」のサイトを初めて訪れたのだが、これはまずい。 「エコポイント」公式サイトの運営者は、「グリーン家電エコポイント事務局」となっていて、プライバシーポリシーでも個人情報取扱責任者が「グリーン家電エコポイント事務局」として書かれている。しかし、国民の視点か
【Google App Engine】 大量のPDFを生成してわかったGAEの真の実力
クラウドPDFサービスのパフォーマンス測定について 先日公開したScalable PDFのパフォーマンステストと同様に、クラウドPDFサービス（GAEのReflex iTextサービス）についてもパフォーマンステストを行ったので公開したいと思う。 クラウドPDFサービスは、AmazonEC2のかわりにGAEを使っており、負荷分散機能はGAEまかせとなるが、Reflex iTextのサービスを使っている点はScalable PDFサービスと同じである。ただ、GAEの場合は実行時間など、いろいろな制約があり、リクエストが失敗する前提で設計しなければならないといった考慮が必要となる。今回のテストにおいては、エラー時に時間間隔を置いてリトライする仕組みを取り入れている。 結果としては、以下のように、GAEでも約8千ページを4～5分で処理できたということで、まずまずであったのだが、これがいっぱいいっ
KVSやMapReduceはクラウドの真価ではない - スティルハウスの書庫の書庫
ちょっと逆説的に書きました。key-value store (KVS)やMapReduceは、クラウドにはなくてはならない重要な技術ではありますが、それらの技術単体では一般のエンジニアにとってそれほど価値はありません。もともと分散ストレージや分散処理技術は昔から学術研究の恰好のネタでしたし、最近になって技術的ブレークスルーがあったわけでもありません。 クラウドの真価は、「すでに巨大なクラウドがそこにあり、きちんと運用され、ビジネスモデルがある」ということです。学術研究や、まだ実績の少ないOSSフレームワークなどのレベルから、Google並の商用サービスに至るまでには、超えられない壁があります。例えばBigtable論文では、クラウドを構築して実運用することがいかに大変かが記されています。 One lesson we learned is that large distributed sys
クラウド時代の到来で、コンピュータサイエンスは「終わった」
クラウド時代の到来で、コンピュータサイエンスは「終わった」 国立情報学研究所 アーキテクチャ科学研究系 教授 佐藤 一郎氏 「コンピュータサイエンスは終わった」。こう広言するコンピュータサイエンスの研究者がいる。国立情報学研究所（NII）の佐藤一郎教授だ。目ぼしい進展が見られない上、有望視されるクラウドコンピューティングの研究はクラウドを「持てる者」でないと困難だからだ。一方で、コンピュータサイエンスの研究成果は様々な分野に応用できると佐藤氏は主張する。（聞き手は、中田 敦＝日経コンピュータ） 2008年後半から「コンピュータサイエンスは終わった」と明言しているそうですね。 コンピュータサイエンスが危機に陥っている証拠には事欠きません。バイオサイエンス（生命科学）と比べると、その差は歴然としています。バイオ分野では新しい実験装置や知見、医療技術、薬品が次々と登場しています。ところがコンピュ
Amazon EC2で「Elastic Load Balancing」オプションを使って負荷分散/冗長化を実現する詳細手順 - 元RX-7乗りの適当な日々
先日、Amazon Web Servicesより、以下、Amazon EC2関連の新サービスが3つ発表されましたね。 Amazon CloudWatch Amazon EC2のインスタンスのリソースをモニタリングすることが可能 Auto Scaling Amazon EC2のインスタンスの負荷状況を判断し、自動でインスタンス数を増減させ、スケーリングを実施することが可能 Elastic Load Balancing ロードバランサとして、各インスタンスのフロントエンドでトラフィックを分散させることが可能 これら3つは連携させて使うと、なかなか強力な可能性を秘めています。 例えば、「Amazon CloudWatch」にて、バックエンドのAmazon EC2のインスタンスの負荷状況を監視し、負荷量がある一定の閾値を超えた段階で、「Auto Scaling」にて、Amazon EC2のインスタ
クラウドの一貫性って - noopな日々
CAP定理というのは、 Consistency Availability Partitions という状態の2つまでしか達成できない。３つすべてを達成することはできないという定理である。例えばConsistency（一貫性）とAvailability(可用性)を同時に満足させるとPartitions(分散)を達成するのをあきらめるしかない。可用性と分散性を同時に満足させるにはConsistency（一貫性）をあきらめる。すなわちEventually Consistentな状態を受け入れる。 そーゆー状態を受け入れるとスケーラビリティを達成できるようになるので、巨大なデータセンターの中に安いPCサーバーを大量においてCAPのCを若干犠牲にしつつ、高速なデータ処理を行う。そのような計算モデルである。 クラウド時代の計算パラダイムがRDBMSが30年間研究開発していたACIDパラダイムからCAP
クラウドにはぐっとこないけど、BASEやCAP定理は面白い - 未来のいつか/hyoshiokの日記
40代、50代の人たちはなぜ表現しないのかhttp://d.hatena.ne.jp/hyoshiok/20090517#p1 には多数のアクセスをいただいた。日記を書いたおかげで多くの人から様々なコメントやトラックバックをいただいた。これもインターネットの可能性、ポジティブな側面だ。ありがたいことである。御礼を申し上げたい。 反応は大きくわけて二つ。A：40代、50代は表現していいる。お前が知らないだけだ。B:40代、50代は表現していない。 Aのパターンは、嬉しいサプライズである。いろいろな人から、こーゆー面白いブログがあるよとか、こーゆー表現があるよという情報を頂いた。トラックバックもいろいろ拝見した。コメント欄に自分は40代、50代と多くの人が名乗ってくれたのは本当に嬉しかった。 IT産業にいるとどもせっかちでいけない。書いているおじさんもいる*1。漫画で教えてもらった。書いている
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【クラウドコンピューティング】 RDBをクラウドに載せるべきか