PySparkことはじめ - Qiita

PythonからApache Sparkを操作する際に使用するAPIであるPySparkの基本的な使い方を説明します。 こちらの記事で説明しているノートブックはこちらとなります。 Apache Sparkとは Apache Sparkとは、ビッグデータと機械学習のための非常に高速な分散処理フレームワークです。SparkはDatabricksの創業者たちによって開発されました。Databricksにおける分散処理はSparkによって行われます。 参考資料 About Spark – Databricks Apache Spark as a Service – Databricks PySparkとは PySparkとは、Sparkを実行するためのPython APIです。Apache SparkとPythonのコラボレーションをサポートするためにリリースされました。開発者はPySparkを用