エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Amazon S3にアクセスするSparkアプリケーション-モバイル開発系(K)
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Amazon S3にアクセスするSparkアプリケーション-モバイル開発系(K)
TOP> オープンソースソフトウェア環境構築> Amazon S3にアクセスするSparkアプリケーション Amazon S3に... TOP> オープンソースソフトウェア環境構築> Amazon S3にアクセスするSparkアプリケーション Amazon S3にアクセスするSparkアプリケーション 扱うデータが数十GB、あるいは数百GBにもなると、それをAmazon S3に置くことも検討するかも知れない。その場合でも、EC2かオンプレミスかに関係なく、Apache Sparkから簡単にS3のデータにアクセスすることができる。Sparkのインストールやアプリケーションについてはこちらにまとめた。 アクセスキーの取得 S3のファイルをダウンロード アプリケーションの実行に必要なjarファイル spark-shellからS3のデータにアクセス s3nじゃなくてs3aでアクセスしたい 5GB超のファイルをS3にアップロード アクセスキーの取得 SparkアプリケーションからS3にアクセスするには、IAMコンソールからアクセスキ