HDFS on Kubernetesの検証 - Qiita

概要 HadoopやSparkで用いられるデータを格納するストレージとしてHDFSがあります。このHDFSをKubernetes上に構築することで、Rookに代表されるCloud Native Storageの構築検証を行います。 以前、Apache Spark on Kubernetesの検証にて、Sparkの計算処理についてKubernetes上での実行を検証しました。今回構築するHDFSにより、Apache Spark on Kubernetesの検証でのspark-submit コマンドの--filesオプションで指定するHDFSもKubernetesで管理できるようになります。 (spark-submit コマンド例) $ bin/spark-submit \ --master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-p