Databricks Connect: アプリケーション、マイクロサービスにApache Spark™の機能を - Qiita

しかし、Databricks Connect以前では、上記のスニペットはシングルノードのSparkクラスターでのみ動作し、複数ノードへの容易なスケーリングや、spark-submitのような追加のツールなしにはクラウドにスケーリングすることができませんでした。 Databricks Connectクライアント Databricks Connectは普遍的なSparkライブラリを提供することで、このSparkコネクターのストーリーを完結させます。これによって、ノートブックのアプリケーション (例：Jupyter、Zeppelin、CoLab)、IDE(例：Eclipse、PyCharm、Intellij、RStudio)、カスタムのPython / JavaアプリケーションからSparkジョブを実行できます。 このことは、あなたはどこからでも"import pyspark"や"import