Spark on EMRの基礎をおさらいする - Qiita
この記事はOpt Technologies Advent Calendar 2017の11日目です。 概要 EMR、Hadoop、Sparkそれぞれの関係を、試しに動かしてみたりドキュメントに当たることで理解する。 それによって、何が起きているのかをログやメトリクスから把握できるようになることを目指します。 （社内勉強会にて話した内容に修正を加えたものになります。） まず動かしてみる 何はともあれ動かせる状態にします。これをベースに色々実装を変えてSparkに慣れましょう。 最小構成 以前書いた記事はこちら Scala版のSpark Jarの最小限の構成 今回試してみるコードはこちら Localで動かす Sparkのバイナリをダウンロードしてくる https://www.apache.org/dyn/closer.lua/spark/spark-2.2.1/spark-2.2.1-bin-
Apache Sparkコミッターが教える、Spark SQLの詳しい仕組みとパフォーマンスチューニング Part1
2019年3月19日、Data Engineering Meetupが主催するイベント「Data Engineering Meetup #1」が開催されました。データの収集や管理、処理、可視化など、データエンジニアリングに関する技術の情報を共有する本イベント。データエンジニアリングの最前線で活躍するエンジニアたちが集い、自身の知見を共有します。プレゼンテーション「Deep Dive into Spark SQL with Advanced Performance Tuning」に登壇したのは、Databricks Inc.の上新卓也氏。講演資料はこちら Spark SQLの仕組みとパフォーマンスチューニング 上新卓也氏：それでは発表を始めます。『Deep Dive into Spark SQL with Advanced Performance Tuning』ということで、Spark SQ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
