Anatomy of Data Frame API : A deep dive into Spark Data Frame API

In this presentation, we discuss about internals of spark data frame API. All the code discussed in this presentation available at https://github.com/phatak-dev/anatomy_of_spark_dataframe_apiRead less

[kimutansk]

実際のSQLの実行計画が一つずつ改善されていくのが面白い。このあたりの最適化自体はSparkに限らずSQLを使う様々な要素で行われてはいるのでしょうけど。