Hadoop Streamingメモ(Hishidama's Hadoop Streaming Memo)
Streamingの概要 Hadoopストリーミングは、Java以外の言語のMapper・Reducerプログラムを実行する方法。 データは標準入出力を介して受け渡す。 つまり、標準入力からデータ（テキスト）を受け取り、標準出力にデータを出力することでHadoop側とやりとりする。 したがって、標準入出力が扱える言語なら何でも使用できる。 Streamingの実行方法 Hadooopストリーミングでは、Streaming用のJavaプログラムにMapper・Reducerプログラムを指定する形で実行する。 CDH3の場合、以下のように指定する。 hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-0.20.2-cdh3u2.jar \ -mapper Mapperプログラムのファイル名 \ -combiner Combine
Hadoop Streamingのハマりどころ3つ - kj-ki’s blog
Hadoop Streamingでもつまづいては修正し，再びつまづいては修正しの繰り返しでした． 今回も，これ以上犠牲者を増やさないためのメモ3つ． Streaming Command Failed!で落ちる まず，Mapper，Reducerは絶対パスで指定する必要があります． # ×:相対パスだとうまくいかない $ hadoop jar hadoop-streaming-0.20.2+737.jar ... -mapper ./mapper.rb -reducer ./reducer.rb # ○:絶対パスで指定すること $ hadoop jar hadoop-streaming-0.20.2+737.jar ... -mapper /path/to/mapper.rb -reducer /path/to/reducer.rb Streaming Command Failed!で落ちる
TwitterのイベントをNotifo経由でプッシュする「Notwife」をリリースしました
「名前、どうしよっか」「んー、Twitter と Notifo だから、Notwifo でいいんじゃないの」「お、いいねー」ってお話をしていたはずなんだけれど、気が付いたら最後の “o” が “e” に変わって Notwife が名前になっていました。 Notwife is not your wife. @kei_s と @june29 のチームで作ったアプリを紹介します。 Notwife ってなあに アプリケーションの説明は Notwife の Web サイトに書いてあります。 なんで Notwife を作ろうと思ったの モチベーションはみっつくらいありました。 Twitter の Site Streams に触れてみたい Pushable Web への布石にしたい むしゃくしゃしてやった Twitter の Site Streams に触れてみたい 2010年9月28日に投稿された U
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tweet Search Stream
ソフトバンク、「USTREAMスタジオ」を開設 
