hanny986のブックマーク - はてなブックマーク

Ubuntu10.04でHadoop環境構築(疑似分散編) - osacaz4の日記
何度も構築しているとたまに忘れてしまうので、備忘録として記載します。今行っている研究室での導入用教材にも転用。 OSのインストールからHadoopのインストールまで駆け足で解説します。以下の環境が前提です。(ホストOSや仮想環境は他でも可) ホストOS：Mac OSX(10.6.3) 仮想環境：VMware Fusion3 インストールの流れ Ubuntu10.4LTSインストール VMware Toolsインストール JDK6インストール Hadoop 0.20.2インストール大まかに上記のような流れ。 Ubuntuのインストールほとんど悩む事はないでしょう。 VMware仮想マシンを作成し、isoからインストール Ubuntu Desktop 日本語 Remixのダウンロード | Ubuntu Japanese Team 「簡易インストールは選択しない」ことだけ注意 VMwar
hanny986 2011/03/18
vmware

Ubuntu

hadoop

java

インストール
リンク
HadoopのHDFS確認とサンプルプログラムの実行 - osacaz4の日記
前回作成したHadoop環境でHDFSの確認を行います。その後、HDFSを使うサンプルプログラムを実行します。参考サイト：http://archive.cloudera.com/docs/cdh3-pseudo-distributed.html 準備 inputディレクトリを作成する $ hadoop-0.20 fs -mkdir input作成されたか確認する $ hadoop-0.20 fs -ls Found 1 it ems drwxr-xr-x - root supergroup 0 2010-06-01 22:49 /user/root/input 試しに設定用のXMLファイルをHDFSへコピー $ hadoop-0.20 fs -put /etc/hadoop-0.20/conf/*.xml inputコピーされたか確認 $ hadoop-0.20 fs -ls input
hanny986 2011/03/01
hadoop

hdfs

fs

mapreduce

cloudera
リンク
Hadoop開発準備のためのEclipseインストール - osacaz4の日記
前回までで、Hadoopの実行環境の準備ができました。・第一回：Ubuntu10.04でHadoop環境構築(疑似分散編) ・第二回：HadoopのHDFS確認とサンプルプログラムの実行・第三回：PigのインストールこれからいよいよMapReduceを記述して行くのですが、そのための開発環境を作成していきます。一番慣れているのでEclipseの設定を行いますが、もちろんTextEditorでプログラム作成してantでbuildでも問題ありません。 Eclipseのインストール Synapticでインストール Eclipseの日本語化 Pleiades：http://sourceforge.jp/projects/mergedoc/releases/ 上記サイトからD／Lし、適当な場所に解凍しておく解凍したディレクトリに移動し、以下のコマンド実行 # cp -R feature
hanny986 2011/03/01
hadoop

eclipse

cloudera

Ubuntu
リンク
1