はじめに pyspark から Elasticsearchを触りたい 環境 Elasticsearch 2.1.0 Spark 1.5.2 Spark インストール 省略します。本日Spark 1.6も出ましたが、1.5.2で。 Elasticsearch+hadoop ダウンロード 2016/1/6時点では、Elasticsearch 2.1.0では、elasticsearch-hadoop-2.2.0-beta1が必要です。 公式ページからダウンロードして展開するだけ $ wget http://download.elastic.co/hadoop/elasticsearch-hadoop-2.2.0-beta1.zip $ unzip elasticsearch-hadoop-2.2.0-beta1.zip
![PySpark 1.5.2 + Elasticsearch 2.1.0 導入手順と実行 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d3ae0249f2ce9e7578eb975ee839d5f2f45b0df/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9UHlTcGFyayUyMDEuNS4yJTIwJTJCJTIwRWxhc3RpY3NlYXJjaCUyMDIuMS4wJTIwJUU1JUIwJThFJUU1JTg1JUE1JUU2JTg5JThCJUU5JUEwJTg2JUUzJTgxJUE4JUU1JUFFJTlGJUU4JUExJThDJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yYjdmM2VlOTVmMDJiMTYwOTVkZWE0NDNjZmM1OWE2Mw%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwb2tpeXVraTk5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MjU2Mzk0OTYzNGViYzhhY2YzY2IzYTE1OTlkY2UxZQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dd0d327d079555c14d46d6685051b9ecf)