Sparkを実行できるWebUIをいくつか比較してみました。 対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-notebook Spark付属のSpark Web Interfaceは実行状況のモニタリングやRDDの状態が可視化されていて非常に便利なものなのですが、上記とは毛色が異なるため今回比較対象に入れていません。 Hueのnotebookやdatabricks cloudに関してはまた今度。。。 まずはそれぞれの概要を少しご紹介します。 Apache Zeppelin Apacheが作っているnotebook形式のWeb UIで、対話型実行ができます。 この記事を書いている時点での最新バージョンは0.6.0です。 Scala, Python, SQL(Spark), SQL(Hive)

notebook形式のWebUIでsparkを実行するspark-notebookを使ってみました。 https://github.com/andypetrella/spark-notebook spark-notebookは、scala-notebookをforkして作ったそうなんですが、 元々のscala-notebookはiPython Notebookにフィーチャーされて作ったものだということで、 iPython Notebookユーザには非常に馴染みのあるインターフェイスになっています。 インストール インストール方法はいくつか用意されています。 バイナリファイル dockerイメージ debianパッケージ ソースコード 私はデバッグできるようにソースコードを使いました。 ソースコードを使う場合はsbtでビルドと起動を行います。 # GitHubからcloneします $ git

2015年6月15日から17日にかけてサンフランシスコで開催されたSparkSummit2015へ行ってきました。 セッションの全スケジュールはこちら↓です。 6月24日以降に全スライドが上がるとのことでした。 Spark Summit 2015 Schedule 今年のSparkSummitで私が特に面白かったのは下記の5つです。 Spark Community Update Making Sense of Spark Performance From DataFrames to Tungsten: A Peek into Spark’s Future How Spark Fits into Baidu’s Scale A More Scalable Way of Making Recommendations with MLlib どんなセッションだったのか少しづつ紹介させて頂きます。