MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development
どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ
MapReduce in Scala
この記事は Scala Advent Calendar jp 2010 の9日目です。 と言いつつ空気を読まずにMapReduceやっちゃいますよ。 簡易的にではありますが、GoogleやHadoopでおなじみ(?)のMapReduceフレームワークをScalaで実装してみました。 というわけで、これを実装したときのポイントや便利な機能などを挙げていこうと思います。 MapReduceって？Googleが提唱した、シンプルかつ強力な大規模分散処理のためのプログラミングモデルです。 Hadoopというプロダクトがオープンソースで公開されていて、比較的容易に大規模分散処理を実現できるようになっています。 詳しい説明は他のサイト（HadoopWikiとか@ITとかmapreduceの画像検索結果とか）に譲ります。 実装( ソースコードはgistにも置いてあります。 ) mapreduce.sca
GitHub - bsdfish/ScalaHadoop: A wrapper for Hadoop in Scala
This code provides some syntactic sugar on top of Hadoop in order to make it more usable from Scala. Take a look at Examples.scala for more details. A basic mapper looks like object TokenizerMap extends TypedMapper[LongWritable, Text, Text, LongWritable] { override def map(k: LongWritable, v: Text, context: ContextType) : Unit = v split " \t" foreach ((word) => context.write(word, 1L)) } or, you c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://jonhnnyweslley.net/blog/shadoop/
