「Apache Spark」は、データエンジニアリングや機械学習のワークロード用の非常に人気が高い実行フレームワークだ。Databricksのプラットフォームに利用され、「Azure HDInsight」「Amazon EMR」「Google Cloud Dataproc」など、オンプレミスとクラウドベースの両方の「Hadoop」サービスで利用できる。また、「Mesos」クラスタでも実行できる。 だが、Mesosを使わず、「Hadoop YARN」の文字列を付加することなしに「Kubernetres」(k8s)クラスタでSparkのワークロードを実行したい場合はどうなのだろうか?Sparkはまず、バージョン2.3のリリースでKubernetes固有の機能を追加し、バージョン2.4でそれを改善したが、完全に統合された方法で、Sparkをk8sでネイティブで実行させるのは、まだ難しい場合がある
![グーグル、「Apache Spark」向け「Kubernetes Operator」のベータ版リリースを発表](https://cdn-ak-scissors.b.st-hatena.com/image/square/67cf62a938cc9bef0b3084fb350e9491247bb70a/height=288;version=1;width=512/https%3A%2F%2Fjapan.zdnet.com%2Fstorage%2F2019%2F01%2F31%2Faf33b2bc13b4270492e73bc0c189f851%2Flarge-92836.jpg)