タグ

sparkに関するshimookaのブックマーク (2)

  • Sparkのエンタープライズ対応が「成熟」――Clouderaが宣言

    Sparkのエンタープライズ対応が「成熟」――Clouderaが宣言:800ノード超のSparkクラスターを運用するユーザーも HadoopディストリビューターもあらためてSparkへの注力をアピール。既に800ノード超のSparkクラスターを運用するユーザーも存在するという。 Hadoopディストリビューションを提供する米Cloudera(クラウデラ)は2015年11月30日(米国時間)、Apache Sparkへの対応が「成熟した」とのリリースを発表した。2015年11月19日に発表した「Cloudera Enterprise 5.5」および「Cloudera's Distribution including Apache Hadoop 5.5」ではSpark SQLとSpark MLlibへの対応を発表していたが、今回、あらためてSpark対応の「気度」とHadoopプラットフォー

    Sparkのエンタープライズ対応が「成熟」――Clouderaが宣言
  • ビッグデータ・ツール「Spark」はHadoopよりホットかも知れない、だがまだ問題がある | readwrite.jp

    Hadoopはホットだ、だがその従兄弟であるSparkは更にホットな存在だ。 Sparkは5年前のApache Hadoopの様な存在で、バークレー大 AMP研で生まれた、Hadoopのエコシステムで動くMapReduceに代わる高速データ処理エンジンだ。これは(MapReduceの様な)バッチ処理および、ストリーミングやインタラクティブ・クエリーといった新しいワークロードや、機械学習やグラフ処理でよく見られる反復アルゴリズムの処理に対応している。 サンフランシスコに拠点を構えるTypesafeは、私が去年記事で触れたJava開発者に対するよく知られたアンケート調査のスポンサーであり、Scala、Playフレームワーク、Akkaのコマーシャルな支援者だ。最近行われたSparkについてのアンケート調査では、2000人以上(正確には2136人)の開発者からの回答が得られた。そこから以下三点の結

    ビッグデータ・ツール「Spark」はHadoopよりホットかも知れない、だがまだ問題がある | readwrite.jp
  • 1