前言：
今天為大家分享的是：為什麼Spark將成為數據科學家的統一平臺以及，清華畢業20年大佬為大家講解的Spark學習視頻以及隨堂筆記，供大家學習，希望大家能夠喜歡。
為何Spark是數據科學家的統一平臺
Spark 是一個超有潛力的通用數據計算平臺，無論是對統計科學家還是數據工程師。
數據科學是一個廣闊的領域。我自認是一個數據科學家，但和另外一批數據科學家又有很多的不同。數據科學家通常分為統計科學家和數據工程師兩個陣營，而我正處於第二陣營。
統計科學家使用交互式的統計工具（比如 R）來回答數據中的問題，獲得全景的認識。
與之相比，數據工程師則更像一名程序員，他們在服務器上編寫代碼，創建和應用機器學習模型，熟悉 C++和 Java 等系統級語言，經常需要和企業級數據中心的某些組件打交道，比如 Hadoop。而有的數據科學家專注於更細的領域，就像精通 R 但從未聽說過 Python 或者 scikit-learn（反之亦然），即便兩者都提供了豐富的統計庫。
由於文章篇幅限制，所以小編就不做過多的介紹了，需要這份PDF以及文章中源碼的小夥伴，可以轉發此文關注小編，私信小編“學習”來得到獲取方式吧~~~
清華畢業20年大佬分8章講解Spark視頻，代碼，資料及隨堂筆記
1.初識Spark,Spark編程核心RDD,Spark算子類別詳解，Spark算子Java+Scala 版本實現
目錄：
1.1Spark 初始
1.2Spark 核心RDD
1.3Spark-Scala算子
1.4Spark-Java算子
筆記：
2.Spark持久化算子，Spark集群搭建，Spark基於Yarn任務提交，Spark基於Standalone+Yarn任務提交流程詳解
目錄：
2.1持久化算子cache+persist
2.2持久化算子-checkpoint
2.3Spark Standalone集群搭建
2.4Spark基於standalone 和基於Yarn 任務提交
2.5Spark java算子 distinct+corgroup
筆記：
3.SparkRDD的寬窄依賴，pipeline計算模型,資源調度與任務調度過程，PVUV案例，Spark任務提交參數詳解
目錄：
1.1RDD的寬窄依賴
1.2Spark計算模式+stage
1.3Spark 任務切分+task發送
1.4Spark 資源調度和任務調度+算子
1.5Spark Submit 提交任務參數
筆記：
4.Spark源碼之Master啟動、Driver註冊、Application註冊、Master劃分資源、Executor啟動、任務調度
目錄：
4.1Spark Submit 提交任務向Master申請啟動Driver
4.2Spark Driver 啟動向Master註冊Application
4.3Spark Master為當前application劃分資源.
4.4Spark Master發送消息啟動Executor
筆記：
5.廣播變量，累加器原理，SparkWEBUI,SparkMasterHA搭建，Spark日誌管理配置，SparkShuffle詳解
目錄：
5.1廣播變量+累加器.
5.2Spark WEBUI
5.3Spark 歷史日誌服務器配置
5.4SparkMaster切換驗證+pipelline驗證+資源調度結論驗證
5.5Spark Shuffle源碼
筆記：
6.初識SparkSQL，SparkSQL加載DataFrame方式，Spark on Hive配置，UDF函數
目錄:
6.1SparkSQL 初始+SparkSQL讀取json格式的文件
6.2SparkSQL 讀取json格式的數據注意點
6.3SparkSQL 讀取json格式的DataSet加載成DataFrame
6.4SparkSQL 讀取普通RDD加載DataFrame+讀取parquet格式數據+讀取MySQL數據加載DataFrame
6.5SparkSQL UDF函數
筆記：
7.SparkSQL之UDAF函數詳解，開窗函數，初始SparkStreaming，SparkStreaming讀取數據詳細過程原理及算子操作
目錄：
7.1UDAF
7.2over開窗函數
7.3SparkStreaming初始
7.4SparkStreaming 讀取socket數據 +注意點+foreachRDD算子
7.5updateStateByKey+reduceByKeyAndWindow
8.Kafka分佈式消息系統原理，SparkStreaming與Kafka整合的問題及策略，手動維護kafka 消費者offset
目錄：
8.1Kakfa 介紹
8.2Kafka 使用
8.3SparkStreaming+kafka Receiver 模式
8.4SparkStreaming + Receiver模式代碼+SparkSteaming + Direct模式代碼
8.5SparkStreaming 手動維護消費者偏移量 + 配置參數
從上面可以很清晰的看到為什麼Spark是將成為數據科學家的統一平臺以及清華畢業20年大佬為大家講解的Spark的視頻及隨堂筆記，小編都為大家準備好了，如果大家需要的話，可以轉發此文關注小編，私信小編“學習”來得到獲取方式吧。
結束語
為了感謝大家這麼長時間的關注與支持，特此奉上一份清華大學出版的《實時大數據分析——基於Storm、Spark技術的實時應用》，大家可以私信小編“學習”來得到這份pdf的獲取方式，感謝大家的支持~
閱讀更多 Python工程師 的文章
