タグ

2011年12月2日のブックマーク (3件)

  • Hadoop The Definitive Guide エッセンス翻訳(1)

    yoshitsugu です。 Hadoopが0.20.0で大きくAPIが変わったのですが、それに関する記事を「Hadoop The Definitive Guide」で見つけたので、概訳しておきます。 Hadoop 0.20.0 リリースでは、一部で"Contextオブジェクト"と呼ばれている、将来の発展性を高めるように設計された新たなJava MapReduce APIが含まれた。新しいAPIは旧APIとの型互換性はない。そのため、新しいAPIを利用するためには今までのアプリケーションを書き換える必要がある。 新旧のAPIにはいくつか注意すべき相違点がある 新APIはインターフェースよりも抽象クラスをより多く用いている。それは抽象クラスのほうがより発展させやすいからである。たとえば、抽象クラスには、クラスの古い実装を影響することなく(デフォルトの実装を備えた)メソッドを追加することができ

    pandazx
    pandazx 2011/12/02
    APIの互換性問題
  • 次世代Hadoopは10,000台にスケールアウトし、MapReduce以外のフレームワークをもサポートする - nokunoの日記

    Yahoo!のブログにHadoopに関する興味深い記事が上がっていたので紹介したいと思います。かなりボリュームのある記事で翻訳するのは骨が折れました。The Next Generation of Apache Hadoop MapReduce · Yahoo! Hadoop Blog原題はシンプルに「次世代のApache Hadoop MapReduce」です。 概要大規模データを扱うビジネスでは、少数の大規模なクラスタのほうが多数の小規模なクラスタよりも安価になります。大規模クラスタは多くのデータセットを処理し、多くのジョブと多くのユーザをサポートする必要があります。ApacheのHadoop MapReduceフレームワークはだいたい4,000台程度でスケーラビリティの限界が来ます。私たちは次世代のApache Hadoop MapReduceを開発しており、そこではフレームワークを汎

  • 米マイクロソフト、Windows ServerとWindows Azure向けの「Hadoop」

    米マイクロソフトは2011年10月12日(米国時間)、オープンソースソフトウエア(OSS)の分散バッチ処理ソフト「Hadoop」の中心的な開発企業の一つである米ホートンワークスと提携して、Windows ServerとWindows Azure向けのHadoopディストリビューションを提供すると発表した。2011年末までに、Windows Azure向けHadoopのCTP(コミュニティ向け技術評価版)をリリースする。 Hadoopは、米グーグルの「MapReduce」や「Google File System」を参考にした分散バッチ処理ソフトで、米ヤフーが中心となって開発してきた。ホートンワークスは、ヤフーのHadoop開発チームが今年6月に独立した企業である。またHadoopは現在、Apacheソフトウエア財団のトッププロジェクトである。 MSとホートンワークスは共同で、Windows

    米マイクロソフト、Windows ServerとWindows Azure向けの「Hadoop」