Apache SparkのWebUI、いろいろ比較してみた

Sparkを実行できるWebUIをいくつか比較してみました。 対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-notebook Spark付属のSpark Web Interfaceは実行状況のモニタリングやRDDの状態が可視化されていて非常に便利なものなのですが、上記とは毛色が異なるため今回比較対象に入れていません。 Hueのnotebookやdatabricks cloudに関してはまた今度。。。 まずはそれぞれの概要を少しご紹介します。 Apache Zeppelin Apacheが作っているnotebook形式のWeb UIで、対話型実行ができます。 この記事を書いている時点での最新バージョンは0.6.0です。 Scala, Python, SQL(Spark), SQL(Hive)

[kimutansk]

Zeppelinは利用可能言語多彩、iPython Notebookはpythonライブラリ利用可、spark-notebookはグラフ機能充実、といった感じですか。比較表は非常にありがたい。

[takezoe]

ノートブック使うような用途だとpysparkだとnumpy、pandas、matplotlibなどのPythonライブラリを使えるのは大きいかもしれない。

[haske11]

Apache Zeppelin, pyspark+jupyter, spark-notebookを比較してみました。