タグ

ブックマーク / ny23.hatenadiary.org (1)

  • MapReduce と四身の拳 - ny23の日記

    最近大規模データを処理するのに MapReduce とかがよく使われるのだけど,クラウドなど分散環境を使う人は基礎的なアルゴリズムを書く訓練もした方がいい.そもそも並列・分散系の環境は,最高速のアルゴリズムでも時間がかかる処理を,さらに速くするために使うべきものであって,基礎的なアルゴリズムの高速な実装ができない人が,実装をサボるために使うべきものではない.基礎的なアルゴリズムの差は MapReduce を使っても残る.特にデータが巨大になり,かかる時間が伸びれば延びるほど,基礎的なアルゴリズムの速度差が致命的になる(10分かかる処理が20分かかっても気にならないかもしれないが,1週間かかる処理が2週間もかかったら致命的; 1000台あるマシンを2000台に増やす方法を考える前に,ベースのプログラムの処理速度を2倍にすべし). こんな例を出すと,年がバレるが,日曜プログラマが1000台のマ

    MapReduce と四身の拳 - ny23の日記
  • 1