Quick Wikipedia Mining using Elastic Map Reduce
This document summarizes Amazon's Elastic MapReduce service. Elastic MapReduce allows users to run Hadoop/MapReduce jobs on Amazon Web Services infrastructure. It launches Hadoop clusters across Amazon EC2 instances and stores data in Amazon S3. The document provides step-by-step examples of using Elastic MapReduce to analyze Japanese Wikipedia data stored in S3, including counting article links,
Python：Hadoop：MapReduceサンプル - HiiHahWIKI - making some notes for... -
Python：Hadoop：MapReduce?サンプル † HadoopのMapReduce?のプログラムをHadoopStreaming?を使ってPythonで書いてみました。 ※CDH環境で実行してますので、実行時のパス等は適当に読み替えてください。 Reducerの処理は一工夫必要だけど、簡単に書けます。 ログの集計とか、Hadoop使ってやるとほんと簡単に実行できるなーと実感した限りです。 ↑ 処理対象データの一部 † こんな感じのデータが入力で、時刻（分）単位のレスポンスタイムの平均を求めたいです。 ■test.txt #refpre(test.txt,,1); 第一カラム 時刻（ミリ秒まで出力されている） 第四カラム レスポンスタイム（ミリ秒） ↑ ソース † こんな感じです。 ■map.py #refpre(map.py,,1); ほんとは、入力値チェックをして、エラーレコ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
