Apache Sparkの導入検証を行いました －パフォーマンス検証編－ - Platinum Data Blog by BrainPad

皆さん、こんにちは。マーケティングプラットフォーム本部で広告系製品の開発を担当している渥美です。 前回の ブログでは、新たな分散基盤である「Apache Spark（アパッチ スパーク）」の概要について、「基礎編」として解説させていただきました。今回は、実際に弊社内で行ったパフォーマンス検証について、皆さんにスライドでご紹介したいと思います。 スライドの内容 1.Spark検証環境 2.Spark検証 3.Spark検証結果 4.Spark Streaming検証 5.Spark Streaming検証結果 6.Spark Streamingデモアプリ検証 7.Spark Streamingデモアプリ検証結果 8.まとめ Sparkは、進化のスピードが速く、この検証中にもDataFrameを目玉とする「バージョン1.3」が公開されました。今後も、継続的にSparkエコシステムのウォッチを続