Spark（Google Dataproc）からAWS S3にアクセスする方法 - 新しいことにはウェルカム

Spark（Google Dataproc）から、AWS S3にアクセスする方法です。 手順 Spark設定 下記のSpark・Haddopの設定をすると、SparkからAWS S3ファイルの読み書きができるようになります。 Sparkに下記AWS関連のjarファイルを読み込みます aws-java-sdk-bundle-xxxx.jar hadoop-aws-xxxx.jar Hadoopの設定ファイル「core-site.xml」に下記パラメータを設定します fs.s3a.access.key：AWS S3のアクセスキー fs.s3a.secret.key：AWS S3のシークレット Dataproc設定 Dataproceはマネージドサービスのため、Sparkを直接いじることができません。 代わりに、Dataproceの「クラスタープロパティ」と「初期化アクション」を使って、 クラス