タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

MapReduceとFacebookに関するyterazonoのブックマーク (1)

  • Facebook、スケーラビリティを強化したスケジューリングツール「Corona」をオープンソース化

    Facebook、スケーラビリティを強化したスケジューリングツール「Corona」をオープンソース化:MapReduceの限界を独自開発で解決 データが大きくなりすぎてMapReduceのジョブトラッカーが死亡? そんな課題に対応するため、Facebookはジョブスケジューリングツールをゼロから構築、公開した。 米Facebookはユーザーベースの拡大に伴って生成される大量のデータ処理に対応するため、新しいスケジューリングフレームワークの「Corona」を開発し、11月8日にオープンソースとして公開したことを明らかにした。 Facebookはこれまで、データインフラ基盤としてApache HadoopのMapReduceを採用してきた。しかし、データウェアハウスで生成されるデータが24時間あたり0.5ペタバイトを超え、Hiveクエリの処理は1日当たり6万を超える中で、2011年初めごろから

    Facebook、スケーラビリティを強化したスケジューリングツール「Corona」をオープンソース化
  • 1