タグ

YARNに関するtsupoのブックマーク (1)

  • 進化するHadoop、戸惑うユーザー

    「Hadoop」はこれまでのバッチ処理という枠を越え、汎用の分散データ処理プラットフォームへと進化し始めている。Hadoop上でSQLクエリーを高速に処理したり、インメモリー処理を実行したりすることも可能になった。しかしHadoopの急速な進化は、ユーザーに思わぬ影響も与え始めている。 Hadoopの進化を下支えしているのが、Apacheソフトウエア財団(ASF)が2013年10月に正式版をリリースした「Hadoop 2」が搭載する「YARN」である。クラスター管理とスケジューリング管理を司るYARNが追加されたことによって、MapReduce以外の様々な処理方式をHadoopクラスター内で同時に実行できるようになったからだ。 Hadoopのディストリビューション(検証済みパッケージ)のベンダーである米ホートンワークスのロブ・ベアデンCEO(最高経営責任者)は、2014年6月に開催した「H

    進化するHadoop、戸惑うユーザー
    tsupo
    tsupo 2014/06/27
    従来のHadoop、つまりYARNを使わないHadoopのことを「Traditional Hadoop」と呼んでいる / 開発リソースをHadoop 2に注力し、Traditional Hadoopに対する性能改善や機能追加を、ほぼ止めてしまった
  • 1