Facebook、スケーラビリティを強化したスケジューリングツール「Corona」をオープンソース化
Facebook、スケーラビリティを強化したスケジューリングツール「Corona」をオープンソース化：MapReduceの限界を独自開発で解決 データが大きくなりすぎてMapReduceのジョブトラッカーが死亡？ そんな課題に対応するため、Facebookはジョブスケジューリングツールをゼロから構築、公開した。 米Facebookはユーザーベースの拡大に伴って生成される大量のデータ処理に対応するため、新しいスケジューリングフレームワークの「Corona」を開発し、11月8日にオープンソースとして公開したことを明らかにした。 Facebookはこれまで、データインフラ基盤としてApache HadoopのMapReduceを採用してきた。しかし、データウェアハウスで生成されるデータが24時間あたり0.5ペタバイトを超え、Hiveクエリの処理は1日当たり6万を超える中で、2011年初めごろから
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開
HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel
ヴイエムウェアの「Spring Hadoop」、Spring FrameworkでJava|オープンソース|トピックス|Computerworld
ヴイエムウェアの「Spring Hadoop」、Spring FrameworkでJava開発者のHadoop活用が容易に Apacheのオープンソース・ライセンスの下、VMwareのWebサイトから配布予定 米国VMwareは2月29日、同社ソフトウェア「Spring Hadoop」を発表した。「Spring Framework」を利用することで、Java開発者による「Apache Hadoop」のデータ処理機能の活用を容易にすることが狙いだ。 開発者は、SpringからHadoopの「MapReduce」クエリを実行可能で、Hadoopに基づいたトリガ・イベントの結果を取得できる、とVMwareの開発関係担当ディレクターであるアダム・フィッツジェラルド（Adam Fitzgerald）氏は述べた。また、個別のMapReduceリクエスト、あるいはデータストリーミング結果として、Hado
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
