Apache Hadoop MapReduce (3) — MapReduce を多段で動かす : MYH
MapReduce で少し複雑なことをしようと思うと、MapReduce を複数回適用しなければならないことがあります。これにはいくつかの方法があります。 もし、Map+ Reduce Map* (１回以上の Map, Reduce, ０回以上の Map) という形で記述することが出来るならば、ChainMapper, ChainReducer というクラスが用意されており、これを Mapper, Reducer として利用するのが簡単です。 もし、シーケンシャルに MapReduce を適用するのであれば、Job の終了を待ってから次の Job を投入すれば済みます。 ChainMapper / ChainReducer このクラスは既存の Mapper を簡単につなげられることを目的としています。 仮に ChainMapper, ChainReducer というクラスががなかったとしま
Ruby/Amazon S3を使う - 俺の基地
バージョンと製造年月日 2009年09月08日 Ruby 1.8.6 aws-s3 0.6.2 WindowsXP SP3 ▲ ▼ 環境構築 AmazonのストレージサービスをS3から使うライブラリ aws-s3 があるのでこいつをインストールする gem install aws-s3 こいつには3つの依存性がありgemなら自動的にインストールされるんだが、一応乗っけておく xml-simple http://rubyforge.org/projects/xml-simple/ builder http://rubyforge.org/projects/builder/ mime-types http://rubyforge.org/projects/mime-types/ ▲ ▼ 接続設定 まず接続設定を行う。こいつはAmazonのサービスで毎度使う、生成idとkeyの
Amazon Elastic MapReduce – madoverload
Amazon Web Servicesには、Amazon Elastic MapReduce(EMR)というサービスもあり、Hadoopジョブを簡単に走らせることができます。Hadoopトレーニングでは、CDHを使って演習を行ないましたが、シングルノードだったため分散処理の醍醐味がなかなか味わえません。 家に複数ノードのマシンがなくても簡単に試すことができるEMRを試してみました。 準備 EMRの利用前にいくつかの準備をします。詳細は、Getting Started Guide を参照してください。 EMRの利用開始 EMRを利用する前に、EMRの利用申請を行う必要があります。これは、マネージメントコンソールでElastic MapReduceタブをクリックした際に、利用申請済みでなければ申請ページへのリンクが出るので、そこから申請すればOKです。 EMRコマンドラインクライアントのダウン
Amazon Elastic MapReduceに今さら入門してみた - nokunoの日記
というわけで冬休み最後の自由研究として、Amazon Elastic MapReduce（EMR）を使ってみました。今なら公式ページもほぼ日本語化していて楽チンです。Amazon Web Services (日本語) Amazon Elastic MapReduceとはAmazon EMRは、Amazonのインフラ上で動作する仮想サーバーを使ったHadoopクラスタを時間単価で貸し出すサービスです。少々わかりにくいので、Amazon Web Service(AWS)の関連する製品群について整理しておきます。EC2 (Elastic Compute Cloud) EC2は、仮想マシンを時間単価で貸し出すサービスです。 EMRを使わずに、EC2に自前でHadoopをインストールして使うやり方もあります（EMRが出来る以前はそれしかなかった）。 EMRを使う場合でも、バックグラウンドでは自動的に
Hadoop Streaming
Hadoop streaming is a utility that comes with the Hadoop distribution. The utility allows you to create and run map/reduce jobs with any executable or script as the mapper and/or the reducer. For example: $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/hadoop-streaming.jar \ -input myInputDirs \ -output myOutputDir \ -mapper /bin/cat \ -reducer /bin/wc In the above example, both the mapper and the reduce
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Elastic MapReduceの使い方─Hadoopより手軽にはじめる大規模計算 記事一覧 | gihyo.jp
Hadoop Streaming
