Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など
Apache Spark 2.0正式版がリリース。ANSI SQL標準サポート、10倍以上の高速化など 分散処理フレームワークの「Apache Spark 2.0」正式版のリリースが、開発元のDatabricksから発表されました。これまでApache Sparkはバージョン1.x（直前の最新版は1.6）でしたので、メジャーバージョンアップとなります。 Spark 2.0で最大の新機能は、新しいSQLパーサーを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能と説明されており、プログラマが慣れ親しんだ一般的なSQL文はすべて実行可能になります。 また、DataFrameとDatasetは統合されたAPIとなりました。 こうしたAPIの変更や改善が行われた一方で、Spark 2.0ではパフ
カスタムDataSourceを作成する方法 - Qiita
Apache Spark Advent Calendar 2015 20日目の記事です。（大遅刻ですみません。。。）この記事では、DataFrame APIを通してカスタムDataSourceへ接続する方法を解説します。 0. 新たなDataSourceを書き始める前に 既に実装済みのDataSourceではないか確認するのが良いでしょう。Spark組み込みのDataSourceとして下記の4つがあります。 JSON Parquet JDBC/ODBC Hive(今回の解説とは異なる実装) http://spark.apache.org/docs/latest/sql-programming-guide.html#data-sources また、spark-packages.orgにはSparkユーザーコミュニティで開発されたパッケージが登録されています。cassandraやredshif
Spark SQL and DataFrames - Spark 3.5.1 Documentation
Spark SQL, DataFrames and Datasets Guide Spark SQL is a Spark module for structured data processing. Unlike the basic Spark RDD API, the interfaces provided by Spark SQL provide Spark with more information about the structure of both the data and the computation being performed. Internally, Spark SQL uses this extra information to perform extra optimizations. There are several ways to interact wit
Spark SQLメモ(Hishidama's Apache Spark SQL Memo)
概要 Spark SQLは、Spark（RDD）の操作をSQL（SELECT文）で行う為のクラス群。 Sparkをインストールすればそのまま使える。（他に特に何かをインストールする必要は無い） Spark SQLを使う場合、SQLContextとSchemaRDDクラスを使う。 import org.apache.spark._ import org.apache.spark.sql._ val sc: SparkContext = ～ val sqlContext = new SQLContext(sc) import sqlContext._ SQLContextインスタンスはSparkContextを使って生成する。 SQLContextには通常のRDDからSchemaRDDへ変換する暗黙変換メソッドが定義されているので、インポートしておく。 SchemaRDDはRDD[Row]、す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spark sql queries vs dataframe functions
Spark RDDs vs DataFrames vs SparkSQL
