こんにちは。 間が空いてしまっていますが、 Spark Summitの資料をとりあえず読んでみよう、の第2弾です。 今回は「Spark Performance」を見てみました。 概要の次にいきなり性能の資料に入ってしまうあたり趣味を反映している気もしますが^^; では、見てみます。 あと、この情報はSpark0.8.1準拠だそうです。現状の最新版ですね。 Spark deep dive まず、下記のRDDの記述によって性能が変わることを理解いただきたい。 ■RDD (patrick, $24), (matei, $30), (patrick, $1), (aaron, $23), (aaron, $2), (reynold, $10), (aaron, $10)….. ■パターン1(groupByKey) このパターンの場合、groupByKeyオペレーションを実行したタイミングで全データ
![Spark Summit Sched & Perf1 「Spark Performance」 - 夢とガラクタの集積場](https://cdn-ak-scissors.b.st-hatena.com/image/square/dc54291b2f664adf04a46655ca155347c56f4148/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkimutansk%2F20140206%2F20140206083523.png)