データモデル考え中 - 急がば回れ、選ぶなら近道
ただいま社内的に論争中なのでちょっとまとめておく 分散環境でのデータモデルはどうあるべきか という議論。 分散環境は非同期処理が中心にはなるのだが 画面系を中心に同期処理も入ってくるので その組み合わせを前提に考えないといけない。 基本的に外部から変更不能のタイミングが必ずある というのが、まずは原則論にはなる。 分散処理のレイテンシーはこの先下がる一方なので ますます使われるようにはなると思う。 その辺りを前提として 各考え方のメリット・デメリット をまとめて置きたい。 1プロセス中心指向 プロセス・フローを中心にモデル（型）の議論をすべき という考えかた。 フローモデルは、プロセス->プロセスが基本で 受け渡しをするエッジの部分がデータモデル的位置付け そもそもデータモデル自体は、 黙示的に一種の振る舞いを想定するはずなので 振る舞いの記述にウェイトを置いた方が良い、 という考え方でも
MapReduce以外の分散処理基盤BSP, Piccolo, Sparkの紹介 - Preferred Networks Research & Development
どうも，実は今年から開発チームにjoinしていた中川です．可愛い犬の写真がなかったので，可愛いマスコットの画像を貼っておきます． 最近MapReduceとかその実装であるHadoopとかをよく聞くようになりました．これはつまり，それだけ大量のデータをなんとか処理したいという要望があるからだと思います．しかし当たり前ですが，MapReduceは銀の弾丸ではありません． ということで，最近気になっているMapReduceとは違ったアプローチを取っている分散処理基盤について，社内のTechTalkで話した内容を簡単にまとめて紹介したいと思います． Bulk Sychronous Parallel このアルゴリズム自体は1990年に誕生したものです．長いのでBSPと書きます．さて，グラフから最短経路を求める時，MapReduceは使えるでしょうか？このような論文が出るくらいですから出来ないことはあ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Robust log process