はじめに pyspark から Elasticsearchを触りたい 環境 Elasticsearch 2.1.0 Spark 1.5.2 Spark インストール 省略します。本日Spark 1.6も出ましたが、1.5.2で。 Elasticsearch+hadoop ダウンロード 2016/1/6時点では、Elasticsearch 2.1.0では、elasticsearch-hadoop-2.2.0-beta1が必要です。 公式ページからダウンロードして展開するだけ $ wget http://download.elastic.co/hadoop/elasticsearch-hadoop-2.2.0-beta1.zip $ unzip elasticsearch-hadoop-2.2.0-beta1.zip