大數據主要學習什麼內容?有什麼要求和條件?

用戶2717790427918


大數據開發工程師是大數據領域一個比較熱門的崗位,有大量的傳統應用需要進行大數據改造,因此崗位有較多的人才需求。這個崗位需要掌握的知識結構包括大數據平臺體系結構,比如目前常見的Hadoop、Spark平臺,以及眾多組件的功能和應用,另外還需要掌握至少一門編程語言,比如Java、Python、Scala等。

大數據分析師是大數據領域非常重要的崗位,大數據分析師需要掌握的知識結構包括算法設計、編程語言以及呈現工具,算法設計是大數據分析師需要掌握的重點內容,而編程語言的作用則是完成算法的實現。另外,大數據分析師還需要掌握一些常見的分析工具。

大數據運維工程師的主要工作內容是搭建大數據平臺、部署大數據功能組件、配置網絡環境和硬件環境、維護大數據平臺,大數據運維工程師需要具備的知識結構包括計算機網絡、大數據平臺體系結構、編程語言(編寫運維腳本)等,通常情況下,大數據運維工程師也需要對數據庫有深入的瞭解。

大數據工程師是做什麼的?需要掌握哪些技能?

https://www.toutiao.com/i6711595957814821380/


加米穀大數據


1. 數學知識

數學知識是數據分析師的基礎知識。對於初級數據分析師,瞭解一些描述統計相關的基礎內容,有一定的公式計算能力即可,瞭解常用統計模型算法則是加分。對於高級數據分析師,統計模型相關知識是必備能力,線性代數(主要是矩陣計算相關知識)最好也有一定的瞭解。而對於數據挖掘工程師,除了統計學以外,各類算法也需要熟練使用,對數學的要求是最高的。

2. 分析工具對於初級數據分析師,玩轉Excel是必須的,數據透視表和公式使用必須熟練,VBA是加分。另外,還要學會一個統計分析工具,SPSS作為入門是比較好的。對於高級數據分析師,使用分析工具是核心能力,VBA基本必備,SPSS/SAS/R至少要熟練使用其中之一,其他分析工具(如Matlab)視情況而定。對於數據挖掘工程師……嗯,會用用Excel就行了,主要工作要靠寫代碼來解決呢。

3. 編程語言對於初級數據分析師,會寫SQL查詢,有需要的話寫寫Hadoop和Hive查詢,基本就OK了。對於高級數據分析師,除了SQL以外,學習Python是很有必要的,用來獲取和處理數據都是事半功倍。當然其他編程語言也是可以的。對於數據挖掘工程師,Hadoop得熟悉,Python/Java/C++至少得熟悉一門,Shell得會用……總之編程語言絕對是數據挖掘工程師的最核心能力了。

4. 業務理解業務理解說是數據分析師所有工作的基礎也不為過,數據的獲取方案、指標的選取、乃至最終結論的洞察,都依賴於數據分析師對業務本身的理解。對於初級數據分析師,主要工作是提取數據和做一些簡單圖表,以及少量的洞察結論,擁有對業務的基本瞭解就可以。對於高級數據分析師,需要對業務有較為深入的瞭解,能夠基於數據,提煉出有效觀點,對實際業務能有所幫助。對於數據挖掘工程師,對業務有基本瞭解就可以,重點還是需要放在發揮自己的技術能力上。

5. 邏輯思維這項能力在我之前的文章中提的比較少,這次單獨拿出來說一下。對於初級數據分析師,邏輯思維主要體現在數據分析過程中每一步都有目的性,知道自己需要用什麼樣的手段,達到什麼樣的目標。對於高級數據分析師,邏輯思維主要體現在搭建完整有效的分析框架,瞭解分析對象之間的關聯關係,清楚每一個指標變化的前因後果,會給業務帶來的影響。對於數據挖掘工程師,邏輯思維除了體現在和業務相關的分析工作上,還包括算法邏輯,程序邏輯等,所以對邏輯思維的要求也是最高的。

6. 數據可視化數據可視化說起來很高大上,其實包括的範圍很廣,做個PPT裡邊放上數據圖表也可以算是數據可視化,所以我認為這是一項普遍需要的能力。對於初級數據分析師,能用Excel和PPT做出基本的圖表和報告,能清楚的展示數據,就達到目標了。對於高級數據分析師,需要探尋更好的數據可視化方法,使用更有效的數據可視化工具,根據實際需求做出或簡單或複雜,但適合受眾觀看的數據可視化內容。對於數據挖掘工程師,瞭解一些數據可視化工具是有必要的,也要根據需求做一些複雜的可視化圖表,但通常不需要考慮太多美化的問題。

7. 協調溝通對於初級數據分析師,瞭解業務、尋找數據、講解報告,都需要和不同部門的人打交道,因此溝通能力很重要。對於高級數據分析師,需要開始獨立帶項目,或者和產品做一些合作,因此除了溝通能力以外,還需要一些項目協調能力。對於數據挖掘工程師,和人溝通技術方面內容偏多,業務方面相對少一些,對溝通協調的要求也相對低一些。

下面是學習資料指南(需要原圖,加我好友,私信索取):


Echa攻城獅


hadoop、Hbase、hive、spark等框架使用來分析海量的數據,進行計算、統計、得出想要的結果。

條件:開發語言JAVA、操作系統Linux系統




閉著眼睛切土豆


大數據技術的學習內容有很多,包括:

基礎階段:Linux、Docker、KVM、MySQL基礎、Oracle基礎、MongoDB、redis。

hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、歷史,HDFS工作原理,YARN介紹及組件介紹。

大數據存儲階段:hbase、hive、sqoop。

大數據架構設計階段:Flume分佈式、Zookeeper、Kafka。

大數據實時計算階段:Mahout、Spark、storm。

大數據數據採集階段:Python、Scala。

大數據商業實戰階段:實操企業大數據處理業務場景,分析需求、解決方案實施,綜合技術實戰應用。


分享到:


相關文章: