Spark SQL之外部數據源如何成為在企業開發中的一把利器?

舔龍血


一、簡介#

1.1 多數據源支持#

Spark 支持以下六個核心數據源,同時 Spark 社區還提供了多達上百種數據源的讀取方式,能夠滿足絕大部分使用場景。

CSV

JSON

Parquet

ORC

JDBC/ODBC connections

Plain-text files

注:以下所有測試文件均可從本倉庫的resources 目錄進行下載

1.2 讀數據格式#

所有讀取 API 遵循以下調用格式:

Copy

// 格式

DataFrameReader.format(...).option("key\


分享到:


相關文章: