多コアCPU, GPUなどの発展により、一台のマシンで効率的なmap reduceができるようになりました Map Reduceはそのアルゴルズムから分散性能が十分な際、複数のマシンで分割してタスクを実行できるので、ビッグデータを処理する際には非常に便利なのですが、これはnVidia社のCUDAやAMD Ryzenなどの極めてコア数が多いCPUなどと、高速なIOをもつDiskであるNVMeなども用いることで、同様のシステムを一台のコンピュータで完結させることができるようになりました。 会社ではAWSのElastic Map Reduceを使うほどの分析じゃないけど、コストを安く、定常的にMap Reduceで処理したいというモチベーションの時、自作したMap Reduceフレームワークを使っています と言っても、優秀なファイルシステム、高速なディスクIO、マルチコアの強力な並列性に依存して
![ビッグデータを扱った時のでファイルシステムでのパフォーマンスの差 - にほんごのれんしゅう](https://cdn-ak-scissors.b.st-hatena.com/image/square/07bf8faa629735caa4e1fb9f8c1994d7de84ab0e/height=288;version=1;width=512/https%3A%2F%2Fuser-images.githubusercontent.com%2F4949982%2F30248513-fd2d06f0-9663-11e7-9197-ec1a9587256e.png)