Apache Spark を Jupyter Notebook で試す (on ローカル Docker - Qiita

以前 Spark を使ってたのですが今は使ってなくて， そのうち忘れそうなので基本をメモしておくことにしました． (全体的に聞きかじりの知識なので間違ってる点はコメント・編集リクエストを期待します) 使う Jupyter + PySpark な環境が動く Docker イメージが用意されているので，ローカルで試すには便利です: https://hub.docker.com/r/jupyter/pyspark-notebook/ PySpark とは，という話ですが，Spark 自体は Scala だけど， Python で使えるやつがあってそれが PySpark だという話があります． IPC でがんばってるという仕組みになっていたはずなので， Scala <-> Python の変換のコストが結構でかいうんぬんみたいな話題もあります． さて，使ってみましょう: