Apache Spark 2.3 with Native Kubernetes Support

Unified governance for all data, analytics and AI assets

[nobusue]

SparkのKubernetesインテグレーションが main側に取り込まれました。Kubernetes as Framework(k8sのCRDを使うパターン)の良い例。

[msykt]

“Starting with Spark 2.3, users can run Spark workloads in an existing Kubernetes 1.7+ cluster and take advantage of Apache Spark’s ability to manage distributed data processing tasks.”

[nminoru]

これはSparkがYARNやMesosと同じ位置づけでKubernetesを使うようになった考えてよいのかしらん？