大數據開發、大數據分析、大數據運維主要工作各是什麼?哪個好?

donglei1097


您好我是 數據僧。

首先,工作本身沒有好壞之分,只有門檻高低之別。大數據開發、大數據分析、大數據運維都圍繞著大數據展開。如果我們把大數據去掉,就只剩下,開發,分析,運維。當然還有其它的工作,例如運營,產品,講師,測試等。 加上了大數據,只是我們的工作內容,或者說是工作方式發生了變化。


大數據是傳統行業,傳統技術逐步發展的產物。但是並沒有打破我們在傳統行業的工作模式,和我們的一些基礎知識的儲備。革新的只有處理技術,工作手段。在這裡我們更詳細的說說大數據開發、大數據分析、大數據運維 的工作內容,已經門檻,不做好壞評價。


非大數據 開發,分析,運維幹什麼呢?

開發日常工作是幹什麼了 ? 圍繞著產品經理,進行產品開發,升級,迭代。加班熬夜,趕進度。每日的工作就是編碼,和產品溝通或者撕X,和測試溝通或者斯X,最終確保產品上線,保證產品正常使用,以及後續迭代升級。

分析日常工作是什麼了?數據整理,製作報表,最後就是報告,會議,闡述結論,最後就是說服對方接受觀點,的確很多時候,分析出來的結論,對方無法接受。

運維日常工作是什麼了?最核心的就是監控,機器是否正常運轉,資源是否夠用,產品應用是否都正常,開發相關的工具,保證異常能夠及時發現。


在介紹大數據相關的工作前我們先了解下大數據的處理流程

我們在看看hadoop的大數據生態圈。當然大數據生態圈不是在只有hadoop。

大數據開發的主要工作

開發數據收集工具,數據清洗和整理,開發數據應用;當然這些不是一個人去完成,都會落在各個團隊中去完成。

完整這些工作需要哪些技能?從這些技能我們也能看出來大數據開發的主要工作,就是這些工具打交道。一門開發語言(java/python/c#/scala 等),大數據下的一些框架:MapReduce,Spark,Hdfs,Storm,Hbase,Zookeeper 等,只會其中的2到三項基本找份工作沒有問題,如何進階在這不詳細討論。我們來看圖吧。

大數據分析的主要工作

有大表哥,專門做各種報表。取數機器人,提取各種數據。當然也有做數據分類,特徵提取等數據挖掘,機器學習等高等玩家。

這裡一併概括了,大數據分析的主要工作是:基於現有的數據進行數據分析得出一個結論,最後進行商業決策。當然現實不是這樣的。大多數人成了大表哥,取數機器人,高端玩家也不列外,挖出來的東西,在沒有找到落地場景前,都是一坨一坨的。這裡都只是調侃。

大數據分析需要哪些技能呢?我們不管具體的工作內容,看看我們每天要面對那些工具,工具是我們每天要接觸的東西。 Excel,SPSS,SQL,數據庫,R,Python 等。當然我們不用都會。

我們還是看圖吧,看看數據分析師的能力體系:

在看看每個階段需要的技能,分析師和開發的區別在於,核心在於處理數據和清洗數據,達到自己可用的狀態。開發是收集數據和整理數據,讓數據變得統一。


大數據運維的工作

對大數據集群進行監控和維護升級,保障集群正常運行,從而保證 數據收集服務能正常運行,保證集群資源夠用,監控集群資源消耗情況。


他們是職業背鍋俠,也是一群默默無聞的夥伴。無論開發,還是分析,還是其它的崗位,都有在人前顯擺的時候,我們的運維永遠只能在人後做好保障。

我們來看看運維的能力體系吧:


以上是我對這個問題的理解,有些調侃,但都想表達和傳遞一種正能量,每個行業,每個崗位都有其特定的屬性和特點,既然選擇了,就只顧風雨兼程,管它花開花落,最終中能到達理想的彼岸。

關注數據僧,我們一起討論,大家都喜歡什麼樣的工作,歡迎大家留言。(圖片來自網絡,侵刪。)


數據僧


在大數據領域大概有四個大的工作方向,除了大數據平臺應用及開發、大數據分析與應用和大數據平臺集成與運維之外,還有大數據平臺架構與研發,除了以上四個大的工作方向之外,還有一個工作方向是大數據技術推廣和培訓,這部分工作目前也有不少人在從事。

大數據平臺架構與研發主要的工作內容是研發底層的大數據平臺,這部分工作的難度較高,從事這部分工作的研發級崗位也並不多。現在不少技術研發團隊都以Hadoop、Spark平臺為基礎進行研發,這樣能夠節省大量的時間,也更容易做出市場接受度比較高的大數據平臺(商用較多)。

大數據平臺應用開發是目前一個就業的熱門方向,一方面是大數據開發的場景眾多,另一方面是難度並不高,能夠接納的從業人數也非常多。大數據開發主要是滿足企業在大數據平臺上的應用開發,與場景有密切的關係。大數據開發是在大數據平臺基礎之上的開發,充分利用大數據平臺提供的功能來滿足企業的實際需求。

大數據分析是大數據應用的一個重點,甚至可以說是大數據的核心內容。大數據分析是基於大數據平臺提供的功能進行具體的數據分析,數據分析與場景有密切的關係,比如出行大數據分析、營銷大數據分析、金融大數據分析等等。目前採用機器學習的方式進行大數據分析是一個趨勢,機器學習的步驟包括數據收集、算法設計、訓練算法、驗證算法和使用算法,所以算法在數據分析中起到了重要的作用,做數據分析工作要有一定的算法基礎。

大數據運維主要從事大數據平臺的軟硬件集成和運維工作,主要的工作內容是完成大數據平臺的部署和調試等相關工作,這部分工作崗位也比較多,企業往往需要有一個專門的運維團隊來保障大數據平臺的平穩運行。相對來說,這部分工作的難度小一些,但是需要掌握的內容也比較多,包括網絡、服務器等軟硬件知識。

大數據是我的主要研究方向之一,目前我也在帶大數據方向的研究生,我會陸續在頭條寫一些關於大數據方面的文章,感興趣的朋友可以關注我的頭條號,相信一定會有所收穫。

如果有大數據方面的問題,也可以諮詢我,謝謝!


IT人劉俊明


大數據開發

主要是負責大數據挖掘,大數據清洗處理,大數據建模等工作,主要是負責大規模數據的處理和應用,工作主要以開發為主,與大數據可視化分析工程師相互配合,從數據中挖掘出價值,為企業業務發展提供支持。

大數據分析

進行行業數據蒐集、整理、分析,並依據數據做出行業研究、評估和預測;

主要工作有四類:

1、從0到1搭建數據分析體系;

2、數據分析工具化,產品化;

3、支撐領導、部門決策的專題分析及業務方向探索;

4、數據規範制定及提升數據質量等基礎工作。

大數據運維

運營維護,Linux操作系統、應用系統的維護、監控、調優、故障排除,關注開源社區動態,追蹤前沿技術和應用等;

一般來講國內的互聯網運維負責軟件測試交付後的發佈和管理,將交付的業務軟件和硬件基礎設施高效合理的整合,轉換為可持續提供高質量服務的產品,同時最大限度降低服務運行的成本,保障服務運行的安全。

相關:

大數據分析師到底在幹嘛?

https://www.toutiao.com/i6549321396005110275/

加米穀:大數據分析,到底要分析些什麼?

https://www.toutiao.com/i6577599840014828045/

大數據學習:數據分析師的完整工作流程與知識結構體系

https://www.toutiao.com/i6584961126356746760/


Spark大數據開發


主要的工作是為了給人民、社會、大自然、地球服務。好與壞因對象而有不一,就好比當下年輕人玩的一款“王者榮耀”,玩家都說好,而沒碰過的就覺得這是一款爛遊戲,因為身邊的人都把大部分時間花在它身上了!


分享到:


相關文章: