Install and Run Hadoop YARN in 10 Easy Steps - Practical Cloud Computing
Preamble If you’re interested in playing with Apache Hadoop’s MRv2 (a.k.a. YARN), you’ve probably looked for ways to set it up on a single-node. On the Apache Hadoop Yarn Home Page, you will find instructions for setting up a Single Node cluster. Unfortunately, there are some pre-setup assumptions (e.g. that you have installed hadoop-common/hadoop-hdfs and exported various environment variables) t
MacOSX(Lion)でHadoop環境を試す - 気まぐれな備忘録
内容 ほぼHadoop on MacOSXの内容を参考にさせていただきました。 MacOSX：10.7.2 Lion Hadoopバージョン：hadoop-0.20.205.0 動作モード：擬似分散モード HADOOP_HOME：/usr/local/hadoop アプリケーションアカウント：hadoop (RecordName：_hadoop) グループID/ユーザーID：300 ホームディレクトリ：/var/lib/hadoop Hadoopのダウンロードと展開 apache hadoopのダウンロードページから最新バージョンをダウンロード。 私はhadoop-0.20.205.0をダウンロードしました。 hadoop-0.20.205.0.tar.gzを展開 場所は/usr/localに限らずどこでも。 cd /usr/local sudo tar zxvf /path/to/had
Hadoop + HBase + Cygwin + Windows 7 x64 « alan said
In this post I will describe how to get a Hadoop environment with HBase running in Cygwin on Windows 7 x64. Having spent the better part of a week reading through blog posts and documentation, I found that none of them covered the process in full detail, at least not for the software versions I intended to use. This guide was written for Cygwin 1.7.7, Hadoop 0.21.0 and HBase 0.20.6. You will addit
4台構成のHadoopを100分で試してみる(CentOS + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・CentOS5.4のLinux環境4台(CentOSの他バージョンや、Fedora、Redhat等でも大丈夫だと思います) ・インターネット接続 ・Sun社Javaパッケージ(パッケージファイルをインターネットから取得) ・Cloudera社のCDH3のHadoopパッケージ(yumでインターネットからインストール) 構成 4台のHadoopクラスターです。 ・マスター1台: nm01 ・スレーブ3台: ns10, ns11, ns12 作業手順 0. 準備 0-0. サーバー名 ここで利用するサーバー/サーバー名は以下の4つです。 nm01 ns10 ns11 ns12 すべてのサーバー(nm01, ns10, ns11, ns12)と作業クライア
Cygwin上でHadoopを動かす:お題目うぉっち
2009年03月05日 Cygwin上でHadoopを動かす Map-Reduceによる分散処理を使えるようになりたいと思い、以前インストールできずにそのままになっていたHadoopを再びいじってみた。 Hadoop Quick Startを参考に再チャレンジ。でも、その前に最新バージョン(0.19.1)をこちらからダウンロードする。（設定方法などがバージョン間で結構変わっている模様。時の最新版のQuickstartはこちらでみることができます。） 使用するPCは Cygwin の入っている Windows XP。ちなみに上記のドキュメントによるとWindows環境での分散処理はβ扱いとのことらしいのだが、自分でmap-reduce的な処理を書いて試す環境を手に入れたいだけなので、とりあえずよしとする。 ■ SSHまわりの設定 以前チャレンジしたときの方法で、localhost にノーパス
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
Cloudera's Configurator for Hadoop: User Guide | Cloudera
Support We're always trying to improve our distribution for Hadoop. If you have trouble finding information you need on the following pages, check out our community support. We also offer commercial support for Hadoop. The Cloudera Distribution for Hadoop Getting Support Overview of the Configurator Installing the Configurator RPM Browsing your Yum Repositories Installing your Hadoop Cluster Form
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Installing Hadoop on OSX Lion (10.7)
Hadoop 0.20 on Ubuntu Server 9.04 Jaunty
Hadoop, HDFS and Hbase on Ubuntu & Macintosh Leopard - Cognizant Transmutation
1.3.2.3. Installing Hadoop (Pseudo-Distributed Mode)
1.2.3. Installing Hadoop on Redhat Systems
Installing hadoop development cluster on Windows and Eclipse -- Setting up Map/Reduce location