scribedのセットアップ手順ひと通り(hdfs書き込み有効版) - たごもりすメモ
ログの収集をscribeでやりたいぜ！ と思ったがREADMEに書いてある通りにやろうとしてもうまくいかず七転八倒し、しかもその上hdfsに書き込もうとしたらHadoopまわりで更に苦悶の日々を送るという苦難の道のりをようやく完走したので、それについて書いてみる。 正直に言ってかなりテキトーにやっつけたが、動くバイナリができているから多分大丈夫だろう。細かい問題については、知らん。 (1/24追記 CentOS 5.5 でもビルドできたので何箇所かに追記しました) なお今回は Fedora 13 で実行しました。(01/24追記)CentOS 5 だとboostが古いので、そこを自分でどうにかする必要がある(素のCentOS 5.5だとscribeのビルド時にboostのバージョン 1.36 以降を要求されて失敗する)。Ubuntu や Debian だと割といけそうな話は多いが、試してな
Hadoop Streamingのハマりどころ3つ - kj-ki’s blog
Hadoop Streamingでもつまづいては修正し，再びつまづいては修正しの繰り返しでした． 今回も，これ以上犠牲者を増やさないためのメモ3つ． Streaming Command Failed!で落ちる まず，Mapper，Reducerは絶対パスで指定する必要があります． # ×:相対パスだとうまくいかない $ hadoop jar hadoop-streaming-0.20.2+737.jar ... -mapper ./mapper.rb -reducer ./reducer.rb # ○:絶対パスで指定すること $ hadoop jar hadoop-streaming-0.20.2+737.jar ... -mapper /path/to/mapper.rb -reducer /path/to/reducer.rb Streaming Command Failed!で落ちる
CentOS5.5にHadoop0.21.0をインストールする
CentOS5.5にHadoop0.21.0をインストールするには、以下の手順を実行します。 ○Sun JDKのdownload&install 以下のサイトからrpm版を落として、インストール http://java.sun.com/javase/ja/6/download.html chmod +x jdk-6u22-linux-x64-rpm.bin ./jdk-6u22-linux-x64-rpm.bin インストールしたJDKをalternativesのリストに追加 alternatives --install /usr/bin/java java /usr/java/jdk1.6.0_22/bin/java 200 alternatives --config javaで、インストールしたJDKを選択 vi /etc/profile 以下を最終行に追加 export JAVA_H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
)
Loading...
