Apache SparkのWebUI、いろいろ比較してみた
Sparkを実行できるWebUIをいくつか比較してみました。 対象としたのは下記の３つです。 Apache Zeppelin pyspark + Jupyter(iPython Notebook) spark-notebook Spark付属のSpark Web Interfaceは実行状況のモニタリングやRDDの状態が可視化されていて非常に便利なものなのですが、上記とは毛色が異なるため今回比較対象に入れていません。 Hueのnotebookやdatabricks cloudに関してはまた今度。。。 まずはそれぞれの概要を少しご紹介します。 Apache Zeppelin Apacheが作っているnotebook形式のWeb UIで、対話型実行ができます。 この記事を書いている時点での最新バージョンは0.6.0です。 Scala, Python, SQL(Spark), SQL(Hive)
ScalaでRやMatlabみたいに行列の操作をおこなう
この文書はScala Advent Calendar 2013の21日目のために書きました。 Scalaにも行列操作や線形代数の便利ライブラリがあります。 pythonに負けてないぜってことで。 それがScalaNLPです。 1. ScalaNLPとは？ ScalaNLPの「NLP」とは、 「Natural Language Processing」 つまり自然言語処理のことらしいです。 SaclaNLPは自然言語処理と機会学習のための数値解析ライブラリを提供しています。 ScalaNLPには、RやMatlab、Numpyみたいに、ベクトルや行列の操作をかんたんに行うためのクラスとメソッドが用意されています。 ScalaNLPのすばらしい（というか私の大好きな）ところは、数値演算にJNIを使うところです。 OSコマンドをコールして高速に数値演算を行う仕様なのです。 Rでは破綻してしまう大量デ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
