Intelが48コアの「シングルチップ・クラウド・コンピュータ」試作，Hadoopも移植へ
米Intelは米国時間2009年12月2日，1つのLSIチップに演算コア48個を集積した試作プロセサを発表した。2010年に数十の企業／大学へ100個以上の試作プロセサを提供し，多コア・プロセサを効率よく利用できるソフトウエア／プログラミング・モデルの研究開発を推進する計画。 試作プロセサはIntel Architecture（IA）ベースの演算コアを48個搭載し，各コアをネットワーク化した。新たな電力管理技術を用い，消費電力を25～125Wに抑えたとしている。コア間の直接データ交換に対応しており，外部メモリーにアクセスする必要性を下げているため，高速な演算が可能という。データ転送距離も短くなるので，消費電力の削減効果も得られる。クラウド対応データセンター用ソフトウエアで使われる並列プログラミング・モデルを採用できるアーキテクチャとした。 Intelは米Hewlett-Packard（HP
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
