グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
ヤフーを変え始めたHadoop
ヤフーが日本独自の検索関連サービスの開発で、オープンソースの分散処理ソフトである「Hadoop」の活用を進めている。Hadoopを使うことで、従来は6時間以上かかった処理がわずか5分半で済むようになった例もある。2009年秋には組織を整備し、適用範囲を全社に広げている。 Hadoopは、米グーグルが開発した分散処理ソフト「Google File System（GFS）」と「MapReduce」を模したオープンソースソフトである（図）。GFSとMapReduceは、グーグルのクラウドを支える基盤技術。Hadoopを使うと、複数台の安価なPCサーバーを連携させ、数十テラ～数ペタバイトに及ぶデ ータを高速に処理できる。 Hadoopを日本国内で最も積極的に利用している企業はヤフーだ。2008年ごろから部署単位でHadoopの導入を進め、Hadoopを使う事例が10件を超えるようになった（表）。
Google製。クラウド上の社内教育管理·CloudCourse MOONGIFT
CloudCourseはPython製/Google App Engine用のオープンソース・ソフトウェア。最近は社内教育にあまり力を入れない傾向がある。中途入社で即戦力、個々人で勉強などが盛んで、その結果として社内のナレッジ共有がおろそかになっている。 オンラインで教育管理 セキュリティ管理など、システム面で対応するよりも社内教育を率先すべき事項はたくさんある。そのためのシステムとしてGooglerが開発したのがCloudCourseだ。 CloudCourseは個々人が自由に社内向けセミナーを追加できるシステムで、セミナー以下にセッションがついて管理される。スピーカーを依頼したり、セッションに申し込んだりするのもオンライン上だ。システムはDjangoを使っており、管理画面はまさにDjangoのそれになっている。 管理画面 おそらくGoogle自体でも毎日多数のセッションが行われているの
グーグルとVMwareが、クラウドとオンプレミスのJava互換実行環境を実現。SpringとGWTの統合ツールも提供
グーグルとVMwareが、クラウドとオンプレミスのJava互換実行環境を実現。SpringとGWTの統合ツールも提供 グーグルがクラウドでのJava実行環境を提供する「Google App Engine for Java」は、これまでデータベースやJavaライブラリなどの制限から、独自のJavaアプリケーションを開発する必要がありました。 グーグルは5月19日（現地時間）、米サンフランシスコで開発者向けのイベント「Google I/O」でVMwareとの協業を発表。Springフレームワークに対応することで、オンプレミスとクラウドで互換性のあるJava実行環境を実現するとともに、データ構造などを設定するとユーザーインターフェイスまで揃った基本的なアプリケーション（スカッフォルド）まで自動的に生成してくれる統合開発ツールの提供を明らかにしました。 これまでのクラウドでのJavaアプリケーショ
［Google I/O 2010］企業向けにApp Engineを強化、99.9％の可用性を保証
［Google I/O 2010］企業向けにApp Engineを強化、99.9％の可用性を保証 月額料金は、1アプリ1ユーザーが8ドルから最大1000ドル 米Googleは現地時間2010年5月19日、カリフォルニア州サンフランシスコで開催中の開発者会議「Google I/O 2010」において、企業向けWebアプリケーションホスティングサービス「Google App Engine for Business」を発表した。月額利用料金は最大1000ドルである。併せて、米VMwareとの提携や、Webアプリケーションストア「Chrome Web Store」なども発表した。 Google App Engine for Businessは、既存サービス「Google App Engine」を企業向けに強化したもの。一部企業に対して現在プレビュー版を提供している。管理機能やサポートを拡充し、99
「リニアにスケールするように作れる」からこそのGoogle App Engine
Google App Engineを使った最初の作品 Tiny Message （http://tinymsg.appspot.com）をリリースしてまだ２０時間経っていないが、設計の過程でいろいろと学べたことがある。 その中でも一番収穫として大きいのは、「Google App Engineを使えば、リニアにスケールするサービスを作ることが可能」だということが実感できたこと。 もちろん、Google App Engine上に作ったからと言ってすべてのアプリがリニアにスケールするわけではなし、どんなアプリでもそう作れるわけではない。Entity Groupの構成を間違えればそこがボトルネックになるし、Queryの二重ループなんかを書いたら、すぐにタイムアウトしてしまう。 リニアなスケーラビリティを持つDatastoreの上で作るとは言え、やはりDatastoreの仕組みをちゃんと理解してデー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【キーマンウォッチ】 「追求してきたことの延長線上が、クラウド・コンピューティングだった」 Google・村上憲郎名誉会長
グーグルの企業向け「App Engine」で問題が続出