MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development

どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ

[sugimori]

ほほう

[ma38su]

distribution

[yoshi84]

グラフの最短距離を求めるときにMapReduceを使えるかとか、気になる。分散処理、並列処理ができないことはないけど難しい…か。

[n-3104]

いろいろあるんだねー。

[kuenishi]

分散処理むずかしい

[showyou]

ではないんだけどちょっと関連した分散の話なのでこのタグ。

[outland_karasu]

可愛いマスコットに惹かれて。というかもはやDの記事にしか見えない（笑）

[hiroshi_revolution]

MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 : Preferred Research

[syuu1228]

RT @kzk_mover: ほほー RT @repeatedly: 今日は俺が書きました！ > "MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介"