Spark のJoinと実行計画を確認してみた - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 背景・目的 こちらのJoin Strategies in Apache Spark— Deep Diveや、Apache Spark Join Strategiesによると、Sparkでは、内部結合、外部結合、左結合、右結合、または半結合などジョインを行う際に全く異なる方法で処理される。結合時にさざまな戦略を採用しているとのこと。 本書では、Sparkのジョインにはどのようなものがあるのか。実行計画と時間がどの様に変わるのかを確認します。 まとめ Sparkのジョインは、下記の違いがあります。 Broadcast joinは、片方のデー