分散システム処理モデルに関する動向について（MapReduceからBorgまで）
詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま
Hadoopサンプル(Hishidama's Hadoop Java sample Memo)
行毎の合算を行うサンプル 以下のような成績表（試験の点数のCSVファイル）から、各学生ごとの合計点数を算出する例。 #番号,名前, 数学,国語,理科,社会,英語 101,天才, 100, 100, 100, 100, 100 201,無気力, 5, 30, 10, 20, 15 102,ひしだま, 90, 85, 80, 50, 10 202,hoge, 10, 30, 25, 45, 20 103,foo, 60, 60, 60, 60, 25 204,xxx, 80, 77, 90, 40, 44 205,yyy, 65, 90, 55, 80, 65 104,zzz, 40, 60, 60, 70, 20 出力イメージ： 101,天才 500 102,ひしだま 315 103,foo 265 104,zzz 250 201,無気力 80 202,hoge 130 204,xxx 33
Hadoop Streaming 試行錯誤 | 女プログラマってどうよ？
Hadoop Streaming を使ってみている。 まだあんまりドキュメントがないので、 試行錯誤するしかない。 なわけで、今日の試行錯誤のメモ。 インストールや環境設定については、 書いてあるページがそこそこあるから そっちを見てください。 ※exblogに怒られないように、 ところどころ大文字になっているので、 コピペするときは気をつけてね 前提： (1) input.txt を hdfs に送っておく。 > $HADOOP_HOME/bin/hadoop hdfs -put input.txt (2) -output の temp ディレクトリは毎回削除する。 > $HADOOP_HOME/bin/hadoop hdfs -rmr temp ちなみに >hadoop dfs -rmr temp[1234] とか >hadoop dfs -rmr temp* とかも可能 【１】per
HadoopのMapReduceジョブのチューニングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop Summit 2012でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Summit 2012 | Optimizing MapReduce Job Performance View more PowerPoint from Cloudera, Inc. HadoopのMapReduceジョブのチューニングに関するもので、内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 spillとかのシャッフルフェーズをどうチューニングするかについて詳しく書かれていて、record fullってログに出てたらメタデータがspillしてるからよくないよねみたいなことが書かれてます。 徹底入門だと10.2.2の「Map処理でのフレームワークのチューニング」に書かれていますね。ていうかio.sort.reco
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
MapReduce Patterns, Algorithms, and Use Cases
In this article I digested a number of MapReduce patterns and algorithms to give a systematic view of the different techniques that can be found on the web or scientific articles. Several practical case studies are also provided. All descriptions and code snippets use the standard Hadoop’s MapReduce model with Mappers, Reduces, Combiners, Partitioners, and sorting. This framework is depicted in th
Good News: Google opensources Sawzall (parallel analysis language) & Y! plans to opensource S4 (realtime mapreduce framework)
Folks, The announcements from Yahoo! and Google are significant in advancing the art and technology of cloud computing landscape: (1) S4: Yahoo has built a general-purpose, real-time, distributed, fault-tolerant, scalable, event driven, expandable platform called S4 which allows programmers to easily implement applications for processing continuous unbounded streams of data. S4 clusters are built
Wakhok マルレク・サブセミナー 第二回「MapReduceとSawzall」 - monjudoh’s diary
はじめに、サブタイトル後半のSawzallはMapReduce用のDSLでこれが結構凄い上に、 GFSやMapReduceのようにオープンソースの代替物がないのだそうですが、 時間がないので詳しい話は聞けませんでした。 後日公開される講演資料に載ってるみたいです。 2007/12/31追記 2007/12/20に資料が公開されました。 丸山先生レクチャーシリーズ2007-2008第1回「Googleの分散処理技術」 こちらの下にある「サブセミナー第2回ハンズアウト」というPDFです。 MapReduceの位置付け 関数型プログラミングモデルに基づいて、大規模なデータセットの処理・生成を行うもの MapReduceというのはアルゴリズムの名前であり、 Googleで実際に稼動しているその実装の名前でもある。 MapReduce：数万台規模の分散処理が実際にちゃんと動いている (一方、grid
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://tech-sketch.jp/2012/03/hadoop-mapreduce1-1.html
ec2_sort_rand_bar.ps
Percolator: 大規模データ用の逐次更新処理システム
Web 時代の非リレーショナルデータベース: 第 3 回 Apache CouchDB で MapReduce フレームワークに基づく問いあわせを行う