サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
パリ五輪
mwsoft.jp
概要 ここでは擬似分散(Pseudo-Distributed)モードでHadoopをインストールします。ClouderaのCDH3を利用しています。 擬似分散モードについて 前項で説明したように、HadoopはNameNode(HDFS親)とDataNode(HDFS子)、JobTracker(MapReduce親)とTaskTracker(MapReduce子)という親子関係で成り立っています。 擬似分散モードはこれら4つの機能を1台のマシンで動作させます。 つまり自分で「分散して処理をしろ」と命令し、自分で「はい、わかりました」と言って実行するするという、寂しい一人芝居をするモードです。 寂しくはありますが、NameNodeやDataNodeなどの機能をインストールして動かすことになるので、1台しかパソコンがない場合でもなんとなくHadoopの雰囲気を味わえます。 Clouderaにつ
Hadoopの導入(CDH3系および0.20利用) Hadoopとはどんなものかをぼんやりと説明 1台構成の擬似分散モードの導入手順 4台構成でNameNodeとDataNodeを動かした際の手順 4台構成でJobTrackerとTaskTrackerを動かした際の手順 Hadoopの導入(CDH4系利用) Clouderaが後悔しているVMイメージを使ってVirtualBox上で動かしてみる Impalaを試す目的で、impala-shellからいろいろコマンドを打ち込んで結果を見てみる。 MapReduce Eclise、Maven、Scalaを使ったMapReduce開発の環境構築とか CDH3、Scala、Kuromojiで形態素解析しつつ日本語WordCount LuceneのTokenizerやFilterでテキストを整形してから単語を取り扱ってみる Mapperのメモリ上で集
このページを最初にブックマークしてみませんか?
『Top Page | mwSoft』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く