タグ

2020年10月29日のブックマーク (1件)

  • Spark内部構造解説ドキュメントのリンク集 - Qiita

    Apache Sparkの内部構造・動作について説明している情報源を紹介します(今後、随時更新していきたいと思いますので、誤り・他の情報源などありましたらお知らせください)。 (翻訳を除き)全て英語のスライド・文書ですが、長い文が書かれているものは少ないので、理解できるかと思います。 全体像 A Deeper Understanding of Spark’s Internals https://spark-summit.org/2014/wp-content/uploads/2014/07/A-Deeper-Understanding-of-Spark-Internals-Aaron-Davidson.pdf Execution modelとShuffleに絞って解説しています(Cachingについては説明していません) Spark Architecture http://0x0fff.c

    Spark内部構造解説ドキュメントのリンク集 - Qiita