タグ

データとApacheに関するnabe3dayonのブックマーク (2)

  • Apache Spark で分散処理入門 - Qiita

    Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.0 /_/ 2016年7月末にApache Spark 2.0.0がリリースされ、始めてみたので色々メモ メモなのでご容赦ください🙇 また、この記事中にサンプルで載せているコードはjavaがメインですがscalapythonの方がすっきりかけている気がじます。 これからも随時編集していきます Apache Spark とは 上の画像はhttps://spark.apache.orgから、場合によってはHadoopのMapReduce100倍速いらしいです、強い、Spark Sparkは巨大なデータに対して高速に分散処理を行うオープンソースのフレームワーク。 (Java Magazin

    Apache Spark で分散処理入門 - Qiita
  • Apache Spark、Sparkシェルで手軽に分散処理

    Apache Spark、Sparkシェルで手軽に分散処理:リアクティブプログラミング超入門(終)(1/2 ページ) 今回は、分散処理フレームワークの概要や、Apache Hadoop、MapReduce、Apache Sparkの概要を説明し、Apache Sparkの使い方を紹介します。 リアクティブプログラミング(RP)の概要や、それに関連する技術、RPでアプリを作成するための手法について解説する連載「リアクティブプログラミング超入門」。Lightbend社のリアクティブ開発プラットフォームである「Lightbend Reactive Platform」を使用して、実際にリアクティブなアプリケーションを作成しています。 前回の記事では、Lightbend Reactive Platformの構成要素の一つである、マイクロサービス向けフレームワーク「Lagom」を紹介しました。今回は

    Apache Spark、Sparkシェルで手軽に分散処理
  • 1