グーグル、分散処理のためにデザインされた言語「Sawzall」をオープンソースで公開
グーグルは、同社内でパラレルデータ処理に利用している言語「Sawzall」を、「Szl」というプロジェクト名のオープンソースとして公開しました。 書籍「Googleを支える技術」によると、Sawzallは分散処理のためにデザインされたDSL（Domain Specific Language）で、特定の用途に限っては非常に容易に処理を記述できるようになっているインタープリタ型のプログラミング言語。GFS（Google File System）とMapReduceを基盤とし、MapReduceをより簡単に実行できるものと説明されています。 なぜSawzallはオープンソースとして公開されたのか？ グーグルは2003年8月に、論文「Interpreting the Data: Parallel Analysis with Sawzall」を発表し、これによってSawzallという言語がグーグルに
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア
Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHPやRubyといったWebアプリケーションからの要求を自動的にデータベースに分散することで、大規模で可用性の高い分散データベースを容易に実現するためのものです。 Gizzard：フォルトトレラントな分散データベースを実現 The Twitter Engineering Blog: Introducing Gizzard, a framework for creating distributed datastores Twitterのブログにポストされた「Introducing Gizzard
グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
窓の杜 - 【REVIEW】CPUパワーを天気予測へ提供する代わりにお天気情報番組を視聴「ソラマド」
「ソラマド」は、分散コンピューティングによる気象や環境に関する計算にCPUパワーを提供する代わりに、生放送の気象情報番組“SOLiVE24”を視聴できるデスクトップアクセサリー。Windowsなどに対応するフリーソフトで、編集部にてWindows XP/Vistaでの動作も確認した。（株）ウェザーニューズの運営する天気情報サイト“ウェザーニュース”のWebサイトからダウンロードでき、動作にはAdobe AIRが必要。なお、“ウェザーニュース”の有料会員でない場合、利用にはメールアドレスなどを登録する必要がある。 起動するとデスクトップ上に、上部が半円アーチになった窓がたくさん並ぶ。各窓からは、“ウェザーニュース”の携帯電話会員から投稿された日本各地の空模様などの写真が表示され、クリックすると拡大写真や付加されたコメントを閲覧可能。 一番右の窓では“SOLiVE24”の番組がリアルタイム再生
NIKKEI NET マネー＆マーケット：経済羅針盤−独自の視点で市場を語る
【日経】マーケット情報の総合ページ。株式・株価から為替、債券、商品、新興国市場など国内外の最新マーケット情報のほか、第一線の記者による分析・解説記事を提供します。
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
84コアをネットで分散、3D描画が6時間から30分に
84コアをネットで分散、3D描画が6時間から30分に：テレビ・コマーシャル向け画像でワークスゼブラが実証 従来クアッド・コアCPU搭載サーバでも1枚のレンダリング処理に約6時間かかっていたテレビ・コマーシャル向け3次元グラフィック画像の処理を、インターネット経由で84個のCPUコアを使う分散コンピューティング環境で約30分に短縮した――。自動車メーカーの映像制作を手がけるワークスゼブラは7月3日、アルテアエンジニアリング、日本IBMと協力して、こんな実証実験に成功したと発表した。 実験ではIBMのデータセンターに構築されているHPC環境「IBM Deep Computing Capacity on Demand」（DCCoD）を使い、最大84個のCPUコアを活用した。システムは、HPC向けOSの「Microsoft Windows Compute Cluster Server 2003」、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生徒が生み出した、ブラウザで動くJavaScript分散コンピューティング
IBM Developer
Plura - SETIに似た分散グリッド
pluraprocessing.com
http://www-06.ibm.com/jp/press/pdf/archive_2008.pdf