前言
Apache Spark是一個開源集群運算框架，相對於Hadoop的MapReduce會在運行完工作後將中介數據存放到磁盤中，Spark使用了存儲器內運算技術，能在數據尚未寫入硬盤時即在存儲器內分析運算。
Spark 在存儲器內運行程序的運算速度能做到比 Hadoop MapReduce 的運算速度快上 100 倍，即便是運行程序於硬盤時，Spark 也能快上 10 倍速度。Spark 允許用戶將數據加載至集群存儲器，並多次對其進行查詢，非常適合用於機器學習算法。
使用 Spark 需要搭配集群管理員和分佈式存儲系統。Spark 支持獨立模式（本地 Spark 集群）、Hadoop YARN 或 Apache Mesos 的集群管理。在分佈式存儲方面，Spark 可以和 Alluxio, HDFS、 Cassandra 、OpenStack Swift 和 Amazon S3 等接口搭載。 Spark 也支持偽分佈式（pseudo-distributed）本地模式，不過通常只用於開發或測試時以本機文件系統取代分佈式存儲系統。在這樣的情況下，Spark 僅在一臺機器上使用每個 CPU 核心運行程序。
spark特色
Java、Scala、Python 和 R APIs。
可擴展至超過 8000 個結點。
能夠在存儲器內緩存數據集以進行交互式數據分析。
Scala 或 Python 中的交互式命令行接口可降低橫向擴展數據探索的反應時間。
Spark Streaming 對即時數據流的處理具有可擴展性、高吞吐量、可容錯性等特點。
Spark SQL 支持結構化和關係式查詢處理（SQL）。
MLlib 機器學習算法和 Graphx 圖形處理算法的高端庫。
Spark從入門到精通的學習路線
spark-core、複習hadoop生態、梳理術語、hadoopRDD 源碼分析
spark-core、wordcount案例源碼分析、圖解
spark-core、集合操作API、pvuv分析、RDD源碼分析
spark-core、聚合計算API、combineByKey、分區調優
spark-core、二次排序、分組取TopN、算子綜合應用
spark-core、集群框架圖解、角色功能介紹、官網學習 、搭建
spark-core、history服務、standaloneHA、資源調度參數
spark-core、基於yarn的集群搭建、配置、資源調度參數、優化jars
spark-core-源碼、RpcEnv、standaloneMaster啟動分析
spark-core-源碼、Worker啟動、sparksubmit提交、Driver啟動
spark-core-源碼、Application註冊、Executor資源申請
spark-core-源碼、sparkContext、DAGScheduler、stage劃分
spark-core-源碼、TaskScheduler、Executor運行Task、SparkEnv
spark-core-源碼、MemoryManager、BlockManager
spark-core-源碼、Dependency、SortShuffleManager
spark-core-源碼、SortShuffleWriter、內存緩衝區buffer
spark-core-源碼、SortShuffleWriter、內存緩衝區buffer
spark-core-源碼、UnsafeShuffleWriter、Tungsten、Unsafe、堆外
spark-core-源碼、ShuffleReader、Tracker、Scheduler完整調度
spark-core-源碼、RDD持久化、檢查點、廣播變量、累加器
spark-core-源碼、RDD持久化、檢查點、廣播變量、累加器
spark-sql、大數據中的SQL組成原理
spark-sql、datafram到dataset開發
spark-sql、整合hive的metastore搭建企業級數倉1
spark-sql、整合hive的metastore搭建企業級數倉2
spark-sql、複雜sql、函數、自定義函數、開窗over函數、OLAP
spark-sql-源碼、sql解析、dataset到rdd的執行計劃
spark-sql-源碼、antlr4的sql解析、AST語法樹的邏輯到物理轉換
spark-sql-源碼、邏輯計劃、優化器、物理計劃、轉換RDD
spark-streaming、流式計算之微批計算原理及standalone
spark-streaming、api、ha、檢查點、窗口等機制
spark-streaming、整合MQ-kafka開發
spark-streaming、源碼分析、流式微批任務的調度原理
spark思維導圖
Spark 2.2G學習視頻
另外還有SparkPDF技術文檔贈送
需要2.2G學習視頻和PDF技術文檔的小夥伴，就可以轉發關注小編，私信小編“文檔”來得到獲取方式吧~~~
閱讀更多 大數據程序員工程師 的文章
