Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
Hadoop
The document discusses setting up Hadoop on a multi-node cluster. It goes through steps such as installing Java, downloading and extracting Hadoop, configuring nodes, formatting the HDFS, and starting processes on all nodes. Commands are shown to check the Hadoop version, run examples, and view logs.Read less
Hadoopのインストールとサンプルプログラムの実行：CodeZine
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce Fr
MPI-TechNote
連載 MPI本格入門 はじめに パラレル計算機の本格的な利用を考えておられる方々の参考になることを目指し、実際の科学技術計算ソフト開発に有用な並列プログラミング入門として本連載を開始します。 対象者 主にFortranを用いた科学技術計算プログラミングの経験があり、UNIXやLINUXが一通り使える方を対象としています。 本連載に呼応してMPI テストとサポートを充実 また、この内容の充実に連動させ、HPC-Alpha/SuSE-Linuxシリーズを縦軸、各ネットワークを横軸とし、計算分野や計算アルゴリズムでのパフォーマンスの目安となるようなベンチマークテストや製品開発・サポートを充実させてゆきます。 もくじ 第１回 ←クリックすると本文へジャンブ mpichのインストール mpich.tar.gzの入手と展開 configureスクリプト make >& Make.log buildの
mpich でのプロセス起動
技術情報 本ページでは，mpich でのプロセス起動について説明します。 mpich でのプロセス起動 ワークステーション・クラスタ環境で並列プログラムを実行すると， 各ノード(マシン)上でプロセスが実行されますが， まず疑問に思うのは， 起動時に指定するコマンドラインオプションは引き継がれるの？ とか，各プロセスの実行ディレクトリはどこなの？ といったことではないでしょうか。 ここでは，mpich でこれらのプロセス起動に関することを 説明します。 対象は Work Station クラスタ型の並列計算環境 ( ch_p4 デバイス ) で，mpich のバージョンは 1.1.2 です。 バージョンが違うと以下の記述と異なる場合がありますので ご注意ください。 ●プロセス起動の流れ 例として，ホスト host0 で以下のように mpirun を実行したとしましょう。 host0> m
ADVENTURECluster
エンジンの心臓部品であるピストンの製造からスタートし、創業60年を迎えられた本田金属技術株式会社様は、現在、世界7カ国11拠点から、二輪車、四輪車、汎用エンジン用の各種アルミ機能部品をグローバルで供給されています。アルミは鉄に比べて非常に軽量であるため、電動車部品の高機能化や軽量化のニーズにも対応できる素材として需要が高まっていますが、これに対応するため、主軸となる事業の効率化とともに、生産体質の改革や新技術開発を進められています。今回は、鋳造製品の品質向上に鋳造解析ソフトウェアMAGMASOFTと構造解析ソフトウェアADVENTUREClusterを活用した事例をご紹介いただきます。 ■ 導入前の課題 非線形領域も含めた強度や性能の評価を高精度に行いたい。 大規模構造問題を高速に解析したい。 鋳造解析と構造解析の連成解析を容易に行いたい。 ■ 使用CAEソフトウェア 大規模構造解析ソフト
MPIプログラム開発用オプション | PGIコンパイラ
このページでは、PGI コンパイラを使用して MPI 開発環境に関して説明します。現在のシステムは、1プロセッサに複数のマルチコアを搭載しているため、MPI のプログラム開発も 1 ノード上の複数の並列プロセスを使用して開発できるようになりました。こうした環境では、1ノード内のローカルなマルチコア環境で MPI 並列の開発ができることから、 PGI の Workstation/Server ライセンスにおいても、ローカルノード上での MPI 用のデバッガ、プロファイラを含めた開発環境を提供しています。このページでは、主に、MPIプログラムをコンパイル・リンクする方法について説明します。なお、ローカル並びにリモート・ノードも含めた MPI の開発環境は、 PGI CDK ライセンス製品で可能となっております。 2019年2月8日更新 Copyright © 株式会社ソフテック PGI Pro
MPIでhelloを作成してみる. - ファイヤープロジェクト
2003-08-23T16:00+09:00 matsu helloを出力する簡単なサンプルをとおしてMPIプログラミングを開始する. まずサンプル どの辺がMPI特有なんだ? MPI関数を呼び出せる範囲 ランク MPI_SendとMPI_Recv MPIデータ型 MPI_Comm_size まとめ まずサンプルあんまりグダグダ言っても面白くないので,何はともあれサンプルを示してみる. 1: #include <stdio.h> 2: #include <string.h> 3: #include <stdlib.h> 4: #include "mpi.h" 6: #define MSG_LEN 100 8: int main(int argc, char* argv[]){ 9: int my_rank; 10: int tag = 0; 11: char message[MSG_LEN
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Research on Real-time CORBA
日本Javaユーザーグループ
日本Javaユーザーグループ
http://hadoop.apache.org/core/releases.html
http://www.hpc.co.jp/hit/support/hpcreform.html
http://www.hitachi.co.jp/Prod/comp/hpc/foruser/sr8000/tebiki/mpi_exec.html
http://www.pccluster.org/score/dist/score-5.6.0/html/ja/man/man1/mpirun.html
The ADAPTIVE Communication Environment (ACE)