Hadoop + Ruby による母集団の全数調査 (2) - Qiita
昨日に引き続き Hadoop と Ruby について書いていきます。 Hadoop Streaming を使う すでに説明した通り Hadoop Streaming を利用すると Ruby などのスクリプト言語で Hadoop を利用できます。 GitHub の以下の場所にサンプルとなるデータとソースコードを用意しました。 https://github.com/ynakayama/sandbox/tree/master/ruby/hadoop/streaming/example これを元に、実際にどのように Hadoop Streaming のためのプログラミングをしていくかを説明していきましょう。 標準入出力を利用したテスト 上記のファイルの構成は以下のようになっています。 ファイル 説明
mrjob — mrjob v0.5.10 documentation
mrjob¶ mrjob lets you write MapReduce jobs in Python 2.6+/3.3+ and run them on several platforms. You can: Write multi-step MapReduce jobs in pure Python Test on your local machine Run on a Hadoop cluster Run in the cloud using Amazon Elastic MapReduce (EMR) Run in the cloud using Google Cloud Dataproc (Dataproc) Easily run Spark jobs on EMR or your own Hadoop cluster mrjob is licensed under the A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
