8. なぜHadoopが必要になったか 1 ● 生み出されるデータはどんどん増える。 ● データから価値を得るためには処理をしなきゃいけない。 ● データを格納するためのハードディスクの容量はどんどん増えて値段 も下がっている。 ● ところが転送レートは容量に追随できていない。 年 容量(GB) 転送レート(MB/s) ディスク読み込み時間 1997 2.1 16.6 126秒 2004 200 56.6 59分 2014 3,000 210 3時間58分 (Cloudera Administrator Training資料から引用) 9. なぜHadoopが必要になったか 2 ● 巨大なデータを1台のマシンで処理しようとするとバス幅がボトルネックになる ● データ処理はデータを保持しているノード毎に行なって、それを集計すれば良さそ う? ● GoogleがMapReduceおよびGoog
![Hadoopの概念と基本的知識](https://cdn-ak-scissors.b.st-hatena.com/image/square/fdc1bc7510c28634f99ab5abbe4eb3fe0bd605e5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fhadoop-150105235158-conversion-gate02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)