Apache Sparkで追加のパッケージ(Mavenリポジトリにあるもの)を利用したいときに、configの設定が必要になるときがあるので自分用にメモ。 1. Mavenパッケージ Mavenリポジトリ上のパッケージ情報はgroupId、artifactId、versionの3つの要素からなるらしい。(Maven coordinatesというらしい) Sparkのconfigに渡すときはこれらを:でつないで、groupId:artifactId:versionの文字列にしたものを用意する。 複数のパッケージを渡したいときはこれらを,でつないで、groupId1:artifactId1:version1,groupId2:artifactId2:version2,groupId3:artifactId3:version3 のようにする。 2. configの設定 設定ファイルに書いておいて
![Apache Spark(pyspark)でmavenリポジトリのjarを追加 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/170656e15de446863121b061f3aded5ce0563093/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QXBhY2hlJTIwU3BhcmslMjhweXNwYXJrJTI5JUUzJTgxJUE3bWF2ZW4lRTMlODMlQUElRTMlODMlOUQlRTMlODIlQjglRTMlODMlODglRTMlODMlQUElRTMlODElQUVqYXIlRTMlODIlOTIlRTglQkYlQkQlRTUlOEElQTAmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTVjYWRiY2NmNGNiZjA3ZDljM2FmNjA1ZTlhZWYzYWM0%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqdW5rb3ItMTAxMSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmI0MThkMWI3YTBkZDkyYTk3ZTJiODNmODc3MTg5YWI%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dcac81b1447c16ba50af3a1b6dc3cf410)