ブックマーク / codezine.jp (3)

  • 複数マシンへHadoopをインストールする:CodeZine

    1.前回のおさらい 前回はHadoopを1台のマシンにインストールし、簡単なサンプルプログラムを実行しました。また、HDFSやMapReduceについても解説しました。今回は複数のPCへのインストールを行います。その後、大規模なデータを実際に処理し、その性能を測ってみたいと思います。2.用意した環境 今回は、東京大学 理学部 情報科学科で学生用に解放されているクラスタを使用しました。このクラスタは24台のノード(c0-0 ~ c0-23)で構成されており、1GbpsのEthernetで相互に接続されています。また、すべてのノードの/homeディレクトリはNFSで共有されています。計算ノードのスペックは次のとおりです。

    juanio
    juanio 2008/08/03
  • フリーのEclipse用AIRプラグイン「AIR GEAR 1.0.0」リリース、WYSIWYGでAIR開発OK!:CodeZine

    Eclipse用AIRアプリケーション開発支援プラグイン「AIR GEAR 1.0.0」が2日にリリースされた。オープンソースで公開されており、Eclipse Public License 1.0内で自由に使用することができる。「GUIを使った開発」「ActionScript/MXMLを使ったAIR開発」「簡単にできるパッケージ作成」など、AIR開発を強力に支援するプラグインとなっている。 ソースはSourceForgeにて公開されている。jarファイルをダウンロードできるので、これをeclipse/pluginsフォルダ内に配置してEclipseを起動するだけでよい。

    juanio
    juanio 2008/08/03
  • Hadoop、hBaseで構築する大規模分散データ処理システム:CodeZine

    はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと

    juanio
    juanio 2008/08/02
  • 1