1、大數據學習之前“必看”
大數據是現在這個時代非常流行的概念，並且隨著人工智能的崛起，大數據也越來越有價值。人工智能算法其實在三十年前就有了，但是沒有用。原因是：第一、計算機不夠快；第二、數據量不夠大，訓練出來的模型太差。
IT時代，其實也是大數據時代。我們產生的數據越來越多，這些數據反過來就像“石油”一樣，為我們提供了進一步的價值。人工智能等算法就像“吞食數據的怪獸”，數據越多人工智能也越強大。
因此，在學習大數據之前，一定要先搞明白幾個問題：
- 什麼大數據？
- 什麼是雲計算？
- 什麼是數據挖掘？
- 什麼是人工智能？
- 什麼條件才能學習大數據？
瞭解之後你才能有的放矢，以及想一想自己是否適合學習。同時，也至少不會被人騙，因為了解這些問題之後，一看課程大綱裡面有“遙控機器人技術，android技術”等。這些技術肯定和大數據是沒有關係的。
由於篇幅的問題，這個幾個問題的解答已經錄製成一套視頻。視頻列表如下：
- 什麼大數據？
- 什麼是人工智能？
- 什麼是機器學習和深度學習？
- 數據挖掘到底挖什麼？
- 大數據技術體系介紹
- 零基礎可以學習大數據嗎？
- 大數據工作職務多嗎？薪水怎麼樣？
- 大數據簡歷怎麼寫？
- 大數據的學習方法
- 哪些技術才是大數據的重點內容？
建議：在學習大數據之前最好花2個小時，認真看一下，所有人都能看懂。就算不想學習大數據，也可以增加大家的知識面。
2、Hadoop框架
Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數據提供了存儲，則MapReduce為海量的數據提供了計算。HDFS是一個高度容錯性的系統，適合部署在廉價的機器上。HDFS能提供高吞吐量的數據訪問，非常適合大規模數據集上的程序計算。HDFS技術是整個大數據的“入門”。只要從事大數據方面工作的程序員，不管你後面用什麼樣的分析技術都必須要學會HDFS。
MapReduce是用於大規模數據集（大於1TB）的並行運算。它極大地方便了編程人員在不會分佈式並行編程的情況下，將自己的程序運行在分佈式系統上。因為只有分佈式計算才能解決“海量數據”的分析問題。
學好HDFS，就能知道為什麼它可以存儲海量數據，知道“百度網盤”本身是什麼？能否自己也能實現一個網盤。讓大家一開始就進入大數據實戰狀態。
Hadoop是大數據中必學的一個技術，也是大數據職位要求必有的一個技術。Hadoop也是後面其他技術的基礎，學好了Hadoop才能更好的學好Hive，Hbase，Spark，Storm等。
3、數據倉庫技術
大數據的數據倉庫技術主要包括：Hive，Hbase，Sqoop，Flume等。其中Hive在企業中使用最為廣泛。對於同學們來說，Hive最容易入門，因為不用寫代碼；只需要有sql基礎就能很好的學習Hive。
Hbase是一個分佈式、列式數據庫。它解決的問題是：在海量數據的情況下還能做到秒級的增、刪、改、查操作。
4、Spark內存計算框架
Spark是當前最為流行的基於內存計算的分佈式框架，在Spark的生態圈中的框架幾乎能夠解決所有的大數據的應用場景，如果基於內存計算，計算速度比Hadoop生態圈中的MapReduce快100倍，如果是基於磁盤的計算，那麼速度快10倍以上，所以Spark是當前大數據開發人員必備的。
Spark是有Scala語言開發的，包括：Spark-Core（離線計算）、Spark-SQL、Spark-Streaming（流式計算）、Spark-MLlib（機器學習）。
Spark是整個大數據技術中的“重中之重”。因為在面試過程中，筆試題和麵試題有60%的可能性會涉及到Spark知識點。所以，Spark的學習要求是：瞭解Spark源碼，能夠優化Spark、能夠用Java，Scala，Python三種計算機語言開發任何的Spark程序。
5、機器學習和數據挖掘
機器學習(Machine Learning,ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。它是人工智能的核心，是使計算機具有智能的根本途徑，其應用遍及人工智能的各個領域。
在公司項目應用過程中，重點強調的分佈式的機器學習，因為基於海量的數據必須採用分佈式的機器學習庫。否則根本就是“扯淡”。所以根據企業的需求，同學們也要分辨出哪些是分佈式的機器學習庫，比如：M ahout，Spark-Mllib等。
6、Storm流式計算框架
目前有兩種比較流行的計算方式：離線計算和流式計算。
流計算方式：它可以很好地對大規模流動數據在不斷變化的運動過程中實時地進行分析，捕捉到可能有用的信息，並把結果發送到下一計算節點。
Storm是流式計算中的技術之一，Storm集群由一個主節點和多個工作節點組成。主節點運行了一個名為“Nimbus”的守護進程，用於分配代碼、佈置任務及故障檢測。每個工作節點都運行了一個名為“Supervisor”的守護進程，用於監聽工作，開始並終止工作進程。Nimbus和Supervisor都能快速失敗，而且是無狀態的，這樣一來它們就變得十分健壯。
一般來說只要用到了流式計算，還得用到Kafka。所以大數據裡面需要掌握一套Kafka+Storm流式解決方案。
7、雲計算之Openstack和docker
雲計算從服務角度分為三層：
同學們需要重點掌握：Iaas層的雲計算技術。目前比較流行的雲平臺都是基於Iaas層的雲計算，包括：阿里雲（https://www.aliyun.com/）、騰訊雲、百度雲等。而Openstack和Docker就是屬於Iaas層的雲計算技術。
Openstack和Docker在找工作的過程中，對應的職位比較少，但是有很好的發展前景。建議大家先在入個門。等工作之後或者有剩餘的時間再深入研究。
8、做一個大數據項目
“實戰學習，最重要的就是參與項目”。大數據的技術學完之後，需要參與一個企業級的大項目，這樣才能真正的出山，拿到高薪、獲得更多的好機會。
思維導圖
全套大數據教程+源碼項目等獲取方式：轉發+關注並私信小編：“資料”即可免費領取哦！
直接上乾貨，從零基礎到進階都有。當然你有其他語言基礎那就更容易了。
1、linux和高併發
2、hadoop體系之離線計算
3、spark體系之分佈式計算
4、機器學習與數據挖掘
5、大數據項目實戰
怎麼樣？你就說這套教程牛不牛！只要你肯學，月入15k超輕鬆！
老規矩：轉發+關注並私信小編：“資料”這整套大數據教程全部送給你！
配套的軟件也打包好了
每天的學習課件一樣整理好了（下面截圖是一天的課件文檔）
還有配套的練習，觀看時沒有用的，必須勤練習！
當你學完之後可能還是有點小迷茫，沒事，配套的簡歷模板都幫你準備好了
閱讀更多 餃子帶你學java 的文章
