Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など

Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x（直前の最新版は1.6）でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ

[nminoru]

あれ？Spark 2.0に含まれているSparkSQLはIN/EXISTSの副問い合わせに未だ対応していない。なんでTPC-DSが通るんだ？

[raimon49]

メジャーバージョンアップ。

[koyancya]

SQL 2003 対応と聞くと、俄然興味が湧いてきますね

[yoshikidz]

おお、めっちゃいいやん。どこまでできるんだろう。言語bindingなくしてくれ

[waman]

『Spark 2.0では前バージョンと比べて10倍の速度向上を目論んでおり』

[legoboku]

10倍以上の速度向上か

[qaz76]

ストリーム集計がSQLでできると嬉しいかもしれない

[shodai]

SQLを使うときのデメリットは何だろう？パフォーマンス？

[roshi]

RDDも悪くないけど、SQLで気軽に使えるのはいいなー。