Cloudera Desktop をUbuntu 8.0.4(hardy) 32bit に入れてみたよ。 - 設計と実装の狭間で。
噂のCloudera Desktop を、インストールしてみた。 Cloudera Desktop インストールマニュアル通りにやれば、まぁ、大体出来る感じ。 Cloudera Desktop install manual /etc/apt/sources.lst.d/cloudera.listを新規作成 deb http://archive.cloudera.com/debian hardy-testing contrib deb-src http://archive.cloudera.com/debian hardy-testing contrib hardy-testingって所は、自分の環境に合ってる奴を大体選ぶ感じで。 この辺見たり、 lsb_release -c ってすれば、何を書けば良いか何となく分る筈。 http://archive.cloudera.com/debian/
HudsonクラスタをHadoopクラスタに - 川口耕介の日記
仕事では30-40ノード位のHudsonクラスタを運用しているのですが、常々、このクラスタをもっと多用途に使えたら便利だと思っていました。 HadoopをHadoop推奨の方法でインストールしてもよいのですが、ネットワークの情報等をHudsonとHadoopに別々に教えないといけないのは不便です。そこで、週末を２つ使って、HudsonクラスタにHadoopを展開するためのプラグインを書きました。Hadoopのコードを読むのに少し手間取りましたが、一度肝を掴んでからは比較的簡単でした。 このプラグインをインストールすると、Hudsonのクラスタ全域でHadoopノードが実行され、またネットワークの設定に関する情報が自動的にHudsonからHadoopへ伝えられます。ユーザーは、HadoopプラグインをHudsonにインストールする以外にはやることはなにもありません。いわゆる「zero con
WindowsでHadoopを動かす手順 - きしだのHatena
HadoopをWindowsで動かすのは、結構めんどい。 「MapReduceってのが流行ってるらしいから、ちょっとウチのWindowsにHadoop入れて試してみるか」くらいの気持ちでは、くじけてしまうことうけあい。 JavaをインストールしてCygwinをインストールしてSSHを設定してHadoopの設定。 このSSHの設定で泣きそうになる。特にVistaの場合。 基本的にhttp://hadoop.apache.org/core/docs/r0.19.0/quickstart.htmlに書いてあるんだけど、SSHの設定は軽くながされてる。 ということで、WindowsでHadoopを動かす手順をまとめてみた。 必要なもの Java JREではなくJDKをダウンロードする http://java.sun.com/javase/downloads/index.jsp Cygwin 右側に
MapReduceのJava実装Apache Hadoopを使ってみた
$ /usr/java/latest/bin/javac -cp hadoop-0.18.0-core.jar sample/*.java $ /usr/java/latest/bin/jar cvf charcount.jar sample/*.class マニフェストが追加されました。 sample/CharCount.class を追加中です。(入 = 1801) (出 = 843)(53% 収縮されました) sample/MapClass.class を追加中です。(入 = 1853) (出 = 755)(59% 収縮されました) sample/Reduce.class を追加中です。(入 = 1530) (出 = 607)(60% 収縮されました) サンプルを実行するには、次のようにします。サンプルを動作させた場合には、一度「input」ディレクトリ内のファイルをすべて削除してか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
