Mahout の開発環境を Maven+Eclipse で作る (2) Hadoop セットアップ - 木曜不足
Mahout はやっぱり Hadoop の上で使ってこそでしょ。というわけで開発用にも Hadoop をセットアップしなければならない。 基本的に Hadoop は Linux で使うべき。Linux 上での疑似分散くらいまでなら結構簡単にセットアップできる。ネット上にいっぱい情報がある。Cloudera 使ってもいい(まだ使ったこと無いけど)。 スタンドアローンなら Windows でもそんなには難しくない。けど、疑似分散になると途端にやっかい。 そんなこんなで Windows 2008 x64 に Hadoop 0.21.0 を疑似分散でセットアップにチャレンジ。 最初に結論から。 Hadoop 0.21.0 は使うな。 Windows で Hadoop は使うな。 【追記】Mahout 0.4 が Hadoop 0.20.2 なので、最初からそれを使うのがベストだった。0.5-SNA
川口耕介さんを囲む会でHadoopプラグインについて質問してきました - n3104のブログ
川口耕介さんを囲む会 : ATNDに参加してきました。目当てはHudsonのHadoopプラグインです。Hadoopプラグインの概要については2009-03-15 - 川口耕介の日記を、プラグインそのものについてはHadoop Plugin - hudson - Hudson Wikiを参照してください。 本編について すみません、Togetter - 「2010/11/11 川口耕介さんを囲む会」を参照してください。 質問内容と回答 Q.スレーブの追加を一括登録することは可能ですか？ 出来ません。あったら便利そうですね、作ってほしいです。 Q.Windowsでも完全分散モードで動作しますか？ 動作します。ただし、Cygwinは必要です。実際にSunで動かしてました。 Q.PigやHive、HBaseを組み込む予定はありますか？ 作ってほしいです。 Q.Hadoopのバージョンは0.19で
Cygwinを利用してWindowsにHBaseをインストール - Stay Hungry. Stay Foolish.
HBaseは列指向DBMSで大規模分散処理に特化しているDBMSです。 大規模なデータ容量になってもパフォーマンスの劣化がおきにくいのが特徴で、 次世代のデータベースとして注目されています。 ここではHBaseをWindowsXPマシンにインストールする方法について記述します。 RDBMSとHBaseの違いをお手軽に?確認したいという方にお勧めです。 環境 HBaseをWindowsで利用するにはJDK6/Cygwin/SSHサービスが必要となります。 環境は2010-02-01時点の最新バイナリを利用しました。 WindowsXP Professional SP2 HBase-0.20.3 http://www.apache.org/dyn/closer.cgi/hadoop/hbase/ JDK 6 Update 18 http://java.sun.com/javase/ja/6/d
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsでhadoopのstandaloneモードを動かす - hiuchidaの技術日記)
Loading...
