2016ー2017のApache Sparkに起こったこと／起こること | gihyo.jp

Sparkの2016年は、1月4日にバージョン1.6.0のリリースからスタートしましたが、なんといっても今年の目玉はバージョン2.0.0のリリースでした。2016年7月26日にリリースされ、この開発には2,000以上のパッチが投稿され、世界中から280人もの開発貢献者の参画があったと言われています。 バージョン2.0ではアーキテクチャが抜本的に見直され、さらなる性能向上、さらなる使いやすさが実現しました。両バージョンについては現在もメンテナンスが続けられており、本稿執筆時点では1.6.3、2.0.2が最新リリースです。そして、12月28日にバージョン2.1がリリースされました。本稿では、2016年後半の中心だったバージョン2.0の特徴について、バージョン1.6以前も振り返りつつおさらいし、2017年にどのような取り組みがなされるかについてお伝えします。 Sparkの特徴のおさらい 2016

[yoyama]

“NTTデータでもSparkで時系列データを扱う事例がありますが，この機能向上は利用者にとってはありがたいものです。 Structured Streamingはバージョン 2.0で導入されていましたが，まだアルファリリース扱いでした。2017年前半

[daisukebe]

まだ Project Tungstenしかちゃんと追えてない.. https://databricks.com/blog/2016/05/23/apache-spark-as-a-compiler-joining-a-billion-rows-per-second-on-a-laptop.html

[civitaspo]

2016ー2017のApache Sparkに起こったこと／起こること：新春特別企画｜gihyo.jp … 技術評論社