大數據（BIG DATA）是指無法在一定時間範圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據的5V特點：VOLUME（大量）、VELOCITY（高速）、VARIETY（多樣）、VALUE（低價值密度）、VERACITY（真實性）。
為什麼要學習大數據？
目前，全球數據呈現爆發增長、海量集聚的特點。大數據計算技術完美地解決了海量數據的收集、存儲、計算、分析的問題。預計到2022年大數據市場規模達800億美元，年均實現15.37%的增長，大數據時代開啟人類社會利用數據價值的另一個時代。國家對大數據戰略政策的制定和實施，也是大數據市場不斷髮展的有力條件。
- 應用領域廣：產業規模空前，各行持續發力：包含金融、政務、交通、電信、商貿、醫療、教育、旅遊、工業、農業等行業領域。
- 就業薪資高：行業平均月薪22690元，30K-50K佔29.7%，20K-30K佔43.2%，15K-20K佔12.2%，10K-15K佔2.7%，6K-8K佔8.1%。
- 缺口大：行業日招聘崗位量154598個，智聯日招聘量50916條，前程無憂日均招聘量55804條，獵聘日均招聘量1萬+條，職友集日均招聘量37878條。
- 政策支持：國家大力推動實施大數據發展戰略，行業政策環境良好。
十二屆全國人大二次會議政府工作報告：“要設立新興產業創業創新平臺，在新一代移動通信、集成電路、大數據、先進製造等方面趕超先進。”
十八大期間國務院頒發文件：“《促進大數據發展行動剛要》的頒發，證明大數據成為推動經濟轉型發展的新動力。”
黨的十九大報告中提出：“加快建設製造強國，加快發展先進製造業，推動互聯網、大數據、人工智能和實體經濟深度整合。”
大數據學習路線大綱：
第一階段：Java語言基礎階段
1.1 Java編程語言基本概述
1.1.1 計算機語言與編程概述 1.1.2 介紹Java生態圈……
1.2 Java基礎語法
1.2.1 分支循環語句 1.2.2 if分支結構……
1.3 面向對象編程
1.3.1 軟件的生命週期 1.3.2 軟件的設計原則……
1.4 面向對象高級編程
1.4.1包 (package) 的管理與作用 1.4.2JavaBean規範……
1.5 Java中的常用類庫
1.5.1包裝類（Wrapper Class） 1.5.2裝箱和拆箱……
1.6 枚舉和異常類
1.6.1枚舉定義和使用 1.6.2通過枚舉的class文件查看底層實現……
1.7 Java數據結構和集合框架泛型
1.7.1數據結構舉例剖析 1.7.2數組的定義和使用方式……
1.8 Java中的IO流
1.8.1File類的常用操作 1.8.2遞歸遍歷文件夾……
1.9 Java中的多線程
1.9.1程序，進程，線程的關係詳解 1.9.2線程的原理……
1.10 Java中網絡編程和反射
1.10.1網絡通訊協議 1.10.2網絡七層協議……
1.11 Java8新特性
1.11.1Lambda表達式 1.11.2Java可以函數式編……
1.12 Java基礎加強
1.12.1Tomcat介紹與搭建 1.12.2軟件B/S和C/S……
第二階段：Linux系統&Hadoop生態體系
01、 Linux入門
02 、常用基本命令
03 、系統管理
04 、Linux操作增強
05 、Linux shell編程
06 、Hadoop生態
07、 分佈式系統概述
08、 Hadoop入門
09、 Hadoop偽分佈式
10、 Hadoop全分佈式
11、 HDFS基本概念
12 、HDFS的應用開發
13、 HDFS的IO流操作
14 、NameNode工作機制
15、 DataNode工作機制
16、 Zookeeper入門
17 、Zookeeper詳解
18 、HA框架原理
19、 Hadoop-HA集群配置
20 、MapReduce框架原理
21 、Shuffle機制
22、 Mapreduce案例一
23、 Mapreduce案例二
24 、Hive入門
25 、Hive DDL數據定義
26 、Hive分區表
27 、Hive分桶表
28、 Hive查詢
29 、Hive的高級查詢Join與排序
30 、Hive的函數
31、 Hive DML數據管理
32 、Hive文件存儲
33、 Hive企業級調優
34 、Hive企業級調優二
35、 Hive企業級項目實戰
36、 Flume詳解
37、 Sqoop詳解
38、 Hbase概念
39 、Hbase的操作
40 、Hbase整合
41 、Hbase的實戰和優化
第三階段：分佈式計算框架
3.1 scala
3.1.1 安裝idea配置環境變量 3.1.2 Maven本地庫配置 3.1.3 JDK環境變量配置 3.1.4 idea版本配置……
3.2 Spark Core
3.2.1 大數據架構體系 3.2.2 架構詳解 3.2.3 Spark集群介紹 3.2.4 Spark集群配置……
3.3 Spark SQL
3.3.1 Spark SQL的發展歷史 3.3.2 Spark SQL的原理介紹 3.3.3 DataFrame概述 3.3.4 創建DataFrame的方式……
3.4 Spark Streaming
3.4.1 Spark Streaming概述 3.4.2 Spark Streaming的原理介紹 3.4.3 Spark Streaming與Storm對比 3.4.4 DStream的概念……
3.5 kafka
3.5.1 Kafka的基本概念3.5.2 Kafka的發展歷史3.5.3 Kafka的應用背景3.5.4 JMS基礎……
3.6 ElasticSearch
3.6.1 全文檢索技術簡介 3.6.2 ES安裝配置入門 3.6.3 ES插件安裝 3.6.4 ES基本操作……
3.7 Logstash
3.7.1 Logstash介紹 3.7.2 Input組件介紹 3.7.3 Filter組件介紹 3.7.4 Output組件介紹……
3.8 Kibana
3.8.1 Kibana介紹 3.8.2 Kibana環境準備 3.8.3 Kibana安裝 3.8.4 Kibana演示……
3.9 Kibana
3.9.1 什麼是NoSQL 3.9.2 NoSQL數據庫的分類 3.9.3 Redis介紹 3.9.4 Redis發展歷史……
第四階段：大數據實戰項目
4.1 互金領域-廣告投放
項目介紹：構建廣告投放平臺，進行廣告投放業務，吸引潛在客戶，推廣產品，包含投放微服務平臺、競價模塊、客戶群體畫像、 千人千面推薦產品。
4.2 電商平臺
項目介紹：埋點業務，進行用戶細分畫像、建立信用體系、進行線上各類活動。
4.3 共享單車
項目介紹：依據用戶行為軌跡構成出行規律，根據用戶群體出行規律、區域情況等動態調度用車情況。
4.4 工業大數據
項目介紹：國家電網_省級輸／變電監控項目：監控線路的傳感設備，確保設備安全、降低故障成本，動態監控線路、變電站二次設備工作情況、報警自動化。
4.5 交通
項目介紹：貴州交通廳，交通離線/實時監控項目：通過交通卡口採集實時數據，動態監控全省各道路通行和事故狀況，避免擁堵、避免交通事故、 精準測速、防止套牌和提供便捷最佳出行方案、 預測擁堵係數，為各級提供最優道路規劃方案。
4.6 旅遊
項目介紹：安順智慧旅遊，整合各類旅遊相關應用系統及信息資源，在公安、交通、工商等相關領域實現信息共享、協同合作，共同打造良性的旅遊雲生態系統。
4.7 醫療
項目介紹：某市人民醫院，隨著老年化的持續增加，患病率越來越高。增加大數據平臺，採集醫療相關數據，提高診斷的準確性，預防一些疾病的發生，監控相關病情康復進展，真正實現解決看病難，降低發病率等。
第五階段：大數據分析
5.1 Data Analyze數據分析基礎
5.1.1 AI&&機器學習&&深度學習概論 5.1.2 數據科學……
5.2 工作環境準備
5.2.1 數據分析中常用的Python技巧 5.2.2 Python字符串操作……
5.3 數據可視化的概念與準則
5.3.1 Python Matplotlib庫 5.3.2 Matplotlib架構……
5.4 Python機器學習
5.4.1 機器學習的基本概念 5.4.2 分類算法與迴歸算法……
5.5 選擇模型
5.5.1 訓練模型 5.5.2 測試模型……
5.6 構建樹的過程
5.6.1 sklearn中決策樹重要的參數 5.6.2 通過決策樹可以得到特徵的重要性得分……
5.7 網格搜索
5.7.1 10折交叉驗證 5.7.2 模型評價指標及模型選擇……
5.8 sklearn中有三類樸素貝葉斯算法
5.8.1 Bernoulli模型 5.8.2 Multinomial模型……
5.9 顏色特徵
5.9.1 紋理特徵 5.9.2 形狀特徵……
5.10 手寫數字識別
5.10.1 人臉識別 5.10.2 物體識別……
5.11 文本的基本組成
5.11.1 Python常用文本處理函數（字符串操作） 5.11.2 正則表達式……
5.12 文本的基本組成
5.12.1 主題模型及LDA 5.12.2 隱含狄利克雷分佈(Latent Dirichlet Allocation, LDA)……
下面我講一下大數據目前比較熱門的就業方向:
1、大數據研發
2、大數據分析與挖掘
3、深度學習
4、人工智能
< data-linktype="2" style="transition: margin 0.1s linear 0s, padding 0.1s linear 0s, width 0.1s linear 0s, height 0.1s linear 0s;color: rgb(255, 255, 255);font-size: 14px;line-height: 18px;padding-left: 22px;background: url("https://mmbiz.qpic.cn/mmbiz_png/M56yr494LJeQpUTGxc14G47QFUcrM35MMQyQkicv1hRmXwMCUk2oVRAHzpaKzIGzzmEfNicvcBEeoNObTOJibxsFA/640?wx_fmt=png") 0px 2px / 16px no-repeat;">大圖模式
< data-linktype="2" style="transition: margin 0.1s linear 0s, padding 0.1s linear 0s, width 0.1s linear 0s, height 0.1s linear 0s;color: rgb(255, 255, 255);font-size: 14px;line-height: 18px;padding-left: 22px;background: url("https://mmbiz.qpic.cn/mmbiz_png/M56yr494LJeQpUTGxc14G47QFUcrM35MMQyQkicv1hRmXwMCUk2oVRAHzpaKzIGzzmEfNicvcBEeoNObTOJibxsFA/640?wx_fmt=png") 0px 2px / 16px no-repeat;">大圖模式
< data-linktype="2" style="transition: margin 0.1s linear 0s, padding 0.1s linear 0s, width 0.1s linear 0s, height 0.1s linear 0s;color: rgb(255, 255, 255);font-size: 14px;line-height: 18px;padding-left: 22px;background: url("https://mmbiz.qpic.cn/mmbiz_png/M56yr494LJeQpUTGxc14G47QFUcrM35MMQyQkicv1hRmXwMCUk2oVRAHzpaKzIGzzmEfNicvcBEeoNObTOJibxsFA/640?wx_fmt=png") 0px 2px / 16px no-repeat;">大圖模式
< data-linktype="2" style="transition: margin 0.1s linear 0s, padding 0.1s linear 0s, width 0.1s linear 0s, height 0.1s linear 0s;color: rgb(255, 255, 255);font-size: 14px;line-height: 18px;padding-left: 22px;background: url("https://mmbiz.qpic.cn/mmbiz_png/M56yr494LJeQpUTGxc14G47QFUcrM35MMQyQkicv1hRmXwMCUk2oVRAHzpaKzIGzzmEfNicvcBEeoNObTOJibxsFA/640?wx_fmt=png") 0px 2px / 16px no-repeat;">大圖模式
< data-linktype="2" style="transition: margin 0.1s linear 0s, padding 0.1s linear 0s, width 0.1s linear 0s, height 0.1s linear 0s;color: rgb(255, 255, 255);font-size: 14px;line-height: 18px;padding-left: 22px;background: url("https://mmbiz.qpic.cn/mmbiz_png/M56yr494LJeQpUTGxc14G47QFUcrM35MMQyQkicv1hRmXwMCUk2oVRAHzpaKzIGzzmEfNicvcBEeoNObTOJibxsFA/640?wx_fmt=png") 0px 2px / 16px no-repeat;">大圖模式
Java:
只需要學習Java的標準版JavaSE就可以了。
Linux:
主要掌握Linux操作系統的理論基礎和服務器配置實踐知識，同時通過大量實驗，著重培養動手能力。使學生了解Linux操作系統在行業中的重要地位和廣泛的使用範圍。在學習Linux的基礎上，加深對服務器操作系統的認識和實踐配置能力。加深對計算機網絡基礎知識的理解，並在實踐中加以應用。
掌握Linux操作系統的安裝、命令行操作、用戶管理、磁盤管理、文件系統管理、軟件包管理、進程管理、系統監測和系統故障排除。掌握Linux操作系統的網絡配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服務的配置與管理。為更深一步學習其它網絡操作系統和軟件系統開發奠定堅實的基礎。與此同時，如果大家有時間把javaweb及框架學習一番，會讓你的大數據學習更自由一些。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop:
Hadoop解決了什麼問題，Hadoop就是解決了大數據(大到一臺計算機無法進行存儲，一臺計算機無法在要求的時間內進行處理)的可靠存儲和處理。
記住學到這裡可以作為你學大數據的一個節點。
Zookeeper:
ZooKeeper是一個分佈式的，開放源碼的分佈式應用程序協調服務，是Google的Chubby一個開源的實現，是Hadoop和Hbase的重要組件。它是一個為分佈式應用提供一致性服務的軟件，提供的功能包括:配置維護、域名服務、分佈式同步、組服務等。
他的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。
ZooKeeper代碼版本中，提供了分佈式獨享鎖、選舉、隊列的接口，代碼在zookeeper-3.4.3src ecipes。其中分佈鎖和隊列有Java和C兩個版本，選舉只有Java版本。
Mysql:
MySQL是一個關係型數據庫管理系統，由瑞典MySQL AB 公司開發，目前屬於 Oracle 旗下產品。MySQL 是最流行的關係型數據庫管理系統之一，在 WEB 應用方面，MySQL是最好的 RDBMS (Relational Database Management System，關係數據庫管理系統) 應用軟件。
MySQL是一種關係數據庫管理系統，關係數據庫將數據保存在不同的表中，而不是將所有數據放在一個大倉庫內，這樣就增加了速度並提高了靈活性。
MySQL所使用的 SQL 語言是用於訪問數據庫的最常用標準化語言。MySQL 軟件採用了雙授權政策，分為社區版和商業版，由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，一般中小型網站的開發都選擇 MySQL 作為網站數據庫。
Sqoop:
這個是用於把Mysql裡的數據導入到Hadoop裡的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive:
這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapReduce程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie:
既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapReduce、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關係。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase:
這是Hadoop生態體系中的NOSQL數據庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka:
這是個比較好用的隊列工具，隊列是幹嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你幹嗎給我這麼多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列裡你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark:
它是用來彌補基於MapReduce處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬盤。特別適合做迭代運算，所以算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
最後說一下，想要學習大數據的限時領取免費資料及課程
領取方法：
還是那個萬年不變的老規矩
1.評論文章，沒字數限制，一個字都行！
3.私信小編：“大數據開發教程”即可！
謝謝大家，祝大家學習愉快！（拿到教程後一定要好好學習，多練習哦!)
閱讀更多 微笑數據工程師 的文章
