Tuning and Debugging in Apache Spark

テクノロジーカテゴリーの変更を依頼記事元:

www.slideshare.net/slideshow

7 usersがブックマークコメント

記事へのコメント2件

注目コメント
新着コメント

clavier Tuning and Debugging in Apache Spark

apache

2015/02/25 リンク

kimutansk #apachespark AggregateByKeyを自前関数の代わりに使用、早い段階でFilter、パーティション数を適切に減らしてTaskを削減、シリアライザはKryo、Storage Level設定、Executerメモリサイズ、などなど

2015/02/25 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Tuning and Debugging in Apache Spark

This talk gives details about Spark internals and an explanation of the runtime behavior of a Spa... This talk gives details about Spark internals and an explanation of the runtime behavior of a Spark application. It explains how high level user programs are compiled into physical execution plans in Spark. It then reviews common performance bottlenecks encountered by Spark users, along with tips for diagnosing performance probl ems in a production application.Read less