第7回 Amazon Elastic MapReduceのパフォーマンスを引き出すためのHadoopの基礎知識 | gihyo.jp
Amazon Elastic Mapreduce（EMR）は、Hadoop環境を構築することなくMapReduceが使える、PaaSに近いものです。しかし、中身はAmazonが独自にカスタマイズしているHadoopなので、一般的なHadoopのチューニング手法をそのまま適用できない場合があったりします。 前回の予告とは若干異なりますが、今回はいったんEMRを離れてHadoopの基礎を説明します。順番的にも先にこちらを説明したほうが内部のしくみもわかってより理解しやすいと思います。 HDFSではサイズが大きいファイルを扱うほうが効率的 あえて今回まで触れませんでしたが、Hadoopとは言わずと知れたGoogleの論文をもとに作成されたGFS（Google File System）とMapReduceのオープンソースのクローンです。GFSはHDFS（Hadoop Distributed Fil
Hadoop CDH4の YARN (MRv2)でHDFSを導入 (疑似分散環境) - 森薫の日記
11:34 | Hadoop CDH4のYARNをCentOS 6.3にインストールでCDH4リポジトリの登録後、以下のコマンドで疑似分散環境をインストールします。 # yum install hadoop-conf-pseudo (Step-1) NameNodeのフォーマット # sudo -u hdfs hdfs namenode -format (Step-2) サービスの起動 # for service in /etc/init.d/hadoop-hdfs-* > do > $service start > done (Step-3) /tmpディレクトリの作成 # sudo -u hdfs hadoop fs -rmr /tmp # sudo -u hdfs hadoop fs -mkdir /tmp # sudo -u hdfs hadoop fs -chmod -R 177
EclipseでHadoop2.4の開発環境を作る＆ワードカウントのプログラムを作成する。 - tetsuya_odakaの日記
前回に引き続き、使用するHadoopのバージョンは2.4。１年前の記事をもとに、Eclipseで開発環境を作る。 開発を行うクライアントは、MacBook Pro (OSX 10.9.3）。クライアントのJavaのバージョンは以下。 MacBook-Pro:~ tetsuya$ java -version java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) ダウンロード hadoopのダウンロードページから、hadoop-2.4.0.tar.gzをダウンロードする。 クライアントの設定 ダウンロードしたhadoop-2.4.0.ta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
