近幾年，大數據不可謂不火，在2017年，發展大數據產業被寫入政府工作報告中，大數據開始不只是出現在企業的戰略中，也開始出現在政府的規劃之內，可以說是互聯網世界的寵兒。無論你是剛從學校畢業，還是已經工作了幾年的工程師，相信都聽說和感受到了大數據時代的來臨。
在去年的《大數據人才報告》中，也可以看出大數據現在和以後的發展將會是非常光明的。
2017年，大數據及人工智能人才需求增長迅猛，招聘需求猛增6倍，大數據需求增長幅度最為驚人，達795%。而各大企業對大數據的人才需求也十分明顯，紛紛在大數據人才招聘方面加大力度。但是大數據的人才儲備卻是有些不均勻的，北京優勢十分明顯，在一線城市中獨佔鰲頭；杭州則在二線城市中鶴立雞群，人才儲備直逼廣州。全國一二線城市的人才缺口巨大，甚至三線城市的需求增長也十分明顯，目前全國大數據人才只有46萬，在未來的這幾年之內大數據的人才缺口將會高達150W。而在薪資方面，大數據和人工智能的薪資超出互聯網普通技術人員1.34，平均年薪達到了38萬左右，尤其是其起薪也有將近19w年薪。企業需要人才而大數據的人才卻供不應求，能培養出這麼多人才的最直接的方法就是各高校開課。但是大數據這個專業屬於前沿科技專業，全國開設該專業的高校並不多，幾大已開課的高校也需要過幾年才有人才供應，而大批量人才供應還需要一段時間已經2017年是所有企業最缺人才的時候，物以稀為貴，這個階段的大數據崗位稀缺，薪資高競爭壓力小。你可以去BAT這類互聯網領軍企業招聘網上看看，他們高薪聘請的到底是什麼崗位，毫無疑問，大數據人才招聘是高薪招聘的常客。對於BAT這些企業來說，大數據時代已經來臨，激烈的人才爭奪戰已悄然拉開。
為什麼會有如此巨大的市場，大數據到底有什麼獨特之處呢？
1)企業可以利用大量消費者消費數據進行商品的精準營銷。
2)企業可以利用大數據做服務轉型，根據消費端需求來生產產品，提高產品競爭能力。
3)中小企業的用戶數據沉澱，讓消費者數據不只是掌握在銷售手上。
從數據引導生產，數據精準銷售，數據積累用戶三方面優化企業運營能力。大數據分析師，大數據工程師，Hadoop開發人員，信息構架師…企業需要大批的大數據人才
既然這麼好的情況，為什麼人才會這麼少呢，不是應該像很多熱門工作一樣有很多人嗎？但事實卻是：
1.沒人:目前國內頂尖的大數據開發人才是非常稀缺的。
2.薪資不低沒必要教大家:有三年以上的大數據開發經驗一般薪資都在35K-50K。
3.要求授課和實戰經驗全具備:有授課經驗，但是沒有實戰經驗，有實戰經驗但沒授課經驗。
而目前來看，大數據並不是所有人都可以學會的，首先你必須具備一些編程基礎和基本的數據庫操作，在有編程基礎後，Linux基礎也是需要掌握的。目前來看java轉型大數據是最容易的，如果正好你是懂java的，那恭喜你，目前大數據生態JVM系語言類的比重極大你已經具備了一定的優勢。
下面我們看看有了一定的編程基礎後，要學習的一些基本的大數據技術吧：
Linux基礎：大數據體系基本都是開源軟件，這些開源軟件都是在開源的linux系統上運行的，所以懂一些Linux是比較必要的
計算處理框架：分為離線批處理和流式處理，要學習大數據工程，掌握一門實時流式處理框架是必須的，學習Flink、Spark Streaming或Kafka Streams中的一個
Hadoop：Hadoop是一個開源框架，它允許在整個集群使用簡單編程模型計算機的分佈式環境存儲並處理大數據。
分佈式存儲基石HDFS（HDFS的構成及工作原理，數據塊，數據寫入與讀取過程，HA方案）
分佈式計算基礎MapReduce（離線處理，MapReduce調優，編程模型）
Hadoop集群資源管家YARN（YARN資源調度過程，計算框架，調度算法）
離線數據處理： 離線日誌收集利器flume（核心組件和日誌收集以及常見的一些問題）
離線批處理hive（Hive的優化，hive表的分區、分桶和抽樣，hive的函數）
速度更快的hive---impala(impala數據處理過程，常用查詢，)
spark （這裡可以學一些Scala基礎，瞭解spark算子和計算模型，sparkSQL）
實時數據處理： kafka （構成及工作原理，幾乎所有大數據招聘簡歷都要求會Kafka建議大家學習）
實時計算引擎spark streaming、海量告訴存儲數據庫HBASE
ETL神器Sqoop,Kettle以及CDH集群搭建、任務調度是雙子星Oozie、Azkaban(調度方案)
數據倉庫和數據挖掘 這部分沒什麼瞭解所以不做過多介紹了
最後，既然說了這麼多，大家可能也有學習的想法，看到這裡怎麼能不給大家帶來一些福利呢。最近有獲取到一份價值18880的大數據學習資料視頻一套，這裡分享給大家，想學習的可以關注後臺私信回覆“大數據”就可以獲取免費下載鏈接了，當然如果沒有編程基礎也可以持續關注一下後面有機會也會分享一些Java的資料哦！~ 祝大家學習順利，生活愉快，學習的路上需要堅持和一些志同道合的朋友一起，希望大家都能學習到自己想學到的知識，加油
閱讀更多 飛禹德蒙 的文章
