Spark SQL Data Sources API: Unified Data Access for the Apache Spark Platform

Unified governance for all data, analytics and AI assets

[moccos_info]

データ入力用のAPI

[kimutansk]

Avro、csv、dBASE、Parquet、JDBC、HBaseに対して統一的なアクセスをSparkSQL層を介して提供、というのは便利です。ただ、データの読み込み効率はどんな感じなんでしょうね。