大量データのバッチ処理を高速化するHadoopHadoopはどのように活用されている？ Hadoopプロジェクトは、オープンソースのテキスト検索エンジンLuceneと、Luceneを利用したWeb検索エンジンNutchの中心的な開発者、Doug Cutting氏らによって2006年に立ち上げられました。彼らは、米Googleが発表した論文のアイディアをもとに、Nutchを数十億のWebページに対応させる取り組みを始めました。この動きに米Yahoo!が興味を持ち、Nutchから分散バッチ処理システムとして汎用的に利用できる部分を切り離して、独立したHadoopプロジェクトとして立ち上がりました。 このような経緯から、米Yahoo!はHadoopの最大のユーザーとなっており、1万コアを超える規模のHadoopクラスタによって検索インデックスが実際に作られていることが報告されています。しかしながら、現在では米Yahoo!以外の多数の企業にも
