タグ

YARNとSparkに関するoza_x86のブックマーク (2)

  • 「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp

    「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” 2013年10月にHadoop 2.2が正式リリースされて以来、Hadoopの世界は大きく変わりました。それまでの概念である「Hadoop= HDFS+MapReduce」が刷新され、MapReduceが受け持っていたMapデータ処理とクラスタリソース管理が分離できるようになりました。これにより、SparkなどMapReduce以外のデータ処理エンジンがHadoop上で利用可能になりました。 そしてHadoopのクラスタリソース管理を行うミドルウェアとして、新たなデファクトスタンダードの地位を確立しようとしているのが「Apache Hadoop YARN(Yet Another Resource Negotiator: YARN⁠)⁠」です。YARNの登場は並列分散処理にどん

    「Hadoop/Spark Conference Japan 2016」で小沢健史PMCが語った“YARNのいま” | gihyo.jp
  • Hadoopユーザー会が2月8日にカンファレンス、Sparkの主要開発者などが講演

    Hadoopユーザー会が2016年2月8日に東京都品川区で、オープンソースソフトウエア(OSS)の分散処理ソフト「Hadoop」や「Spark」のユーザー会議「Hadoop / Spark Conference Japan 2016」を開催する(募集サイト)。参加費は無料。米Clouderaや米Databricksの開発者や、Hadoop/Sparkの日人コミッタ、ユーザー企業などが講演する。 2009年に第1回が開催された同カンファレンスは今回が6回目で、今回から「Hadoop Conference Japan 2016」と「Spark Conference Japan 2016」の併催となった。Sparkはカリフォルニア大学バークレー校の「AMPLab」から生まれたOSSで、Hadoopの後継ソフトとして米国だけでなく日でも利用が広がり始めている。 カンファレンスではHadoo

    Hadoopユーザー会が2月8日にカンファレンス、Sparkの主要開発者などが講演
  • 1