計算機要學到什麼程度才能成爲大數據人才?

前進2685


隨著大數據的產業化進程逐漸加快,大數據行業的人才短缺問題也越來越引起重視,目前很多高校在近兩年都陸續開設了大數據相關專業,相信未來大數據的發展空間會非常大,從業人數也會越來越多。現在有不少人都轉向大數據方向,尤其以計算機、統計和數學相關專業的比較多,這三個專業也是與大數據關係最為緊密的專業。

大數據與計算機的關係非常密切,大數據的出現是物聯網、雲計算發展到一定階段的必然產物,所以掌握計算機相關知識對掌握大數據非常重要。在我看來,大數據專業人士需要掌握以下計算機知識:

第一,操作系統。目前大數據平臺大部分都是基於Linux操作系統,所以掌握Linux系列操作系統的應用對大數據來說非常重要。

第二,數據庫。數據庫作為大數據平臺的存儲策略是一定要掌握的,包括傳統的關係型數據庫和大數據系統的NoSql數據庫。

第三,大數據平臺。目前比較流行的大數據平臺包括Hadoop和Spark,掌握這兩個平臺的使用是比較重要的。

第四,編程語言。目前在大數據開發領域使用比較多的語言包括Python、R、Scala、Java等,掌握編程語言對於大數據開發來說是重要的基礎。

第五,算法設計。算法是進行大數據分析的核心,所以必須掌握常見的大數據分析算法。

我的研究方向是大數據和人工智能,目前也在帶大數據方向的研究生,我會陸續在頭條上寫一些關於大數據方面的科普文章,感興趣的朋友可以關注我的頭條號,相信一定會有所收穫。

如果有大數據方面的問題,也可以諮詢我。

謝謝!


IT人劉俊明


成為大數據人才計算機要學到什麼程度?

不知道樓主所謂的人才是隻是獲得怎樣的成就才是人才。首先要掌握的就是Java語言和Linux操作系統,這兩個是大數據的基礎。學習順序的話不分前後的。

(1)Java:

Java也有很多方向。JavaSE,JavaEE還有JavaME,大數據的話只需要學習Java標準版的JavaSE就可以了,像Servlet、JSP、Tomcat、Struts等在JavaEE方向,在大數據裡面不常用到。但是需要了解,想要成為成為人才的話可以要學習Hibernate或者Mybites的原理,不要只學習API。

(2)Linux:因為大數據相關軟件都是在Linux上面運行的所以,Linux要學習很紮實。它能讓你更好的理解hadoop,hive,hbase,spark等大數據軟件的運行環境和網絡環境配置,能少踩很多坑,學會shell就能看懂腳本這樣更容易理解配置大數據集群。

看路線圖可以按照路線圖去逐步的學習。下面再來回答下大戶局必須要掌握的知識點:

Hadoop:這事現在流行的大數據處理平臺。包括HDFS、MapReduce和YARN,HDFS是儲存數據的地方想我們的電腦硬盤一樣,都存儲在這個上面。MapReduce是對數據進行處理計算的,它的特點是不管多大的數據只要有時間就能跑完。YARN是體現Hadoop平臺概念的重要組件。

大數據中重要的要掌握的幾點:

Zookeeper:安裝Hadoop的HA的時候就會用到它,以後的Hbase也會用到它。需要把它安裝正確 ,讓它正常的跑起來。

Mysql:在Linux上把它安裝好,運行起來,會配置簡單的權限,修改root密碼,創建數據庫。

Sqoop:這個是用於把Mysal裡面的數據導入Hadoop裡面。

Hive:和Pig同理,想要變得厲害可以都學習。

Oozie:可以幫你管理你的Hive或者MapReduce、Spark腳本還能檢查你的程序執行的是否正確。

Hbase:這個是Hadoop生態體系中的NOSQL數據庫,是按照key和value的形式存儲的並且key是唯一的。所以可以幫你做數據排重,它與MYSQL相比存儲的數據量大。

Kafka:這個是隊列工具。可以利用它來做線上實時數據的入庫或者是入HDFS,與Flume的工具配合使用,專門用來提供對數據進行簡單處理。

Spark:這個工具是用來彌補MapReduce處理數據速度上的缺點,特點就是把數據裝載到內存裡面去計算。適合做迭代運算,Java語言或者Scala都可以操作它,他們都是用JVM的。

上面的知識點和線路圖你能完整的學下來掌握,基本去哪家企業都很搶手~


傳智播客


這個並不是絕對的,主要看你自己是否喜歡有決心學。有沒有基礎知識決定你入門和學習進度,沒有基礎一樣可以從頭開始學的啊。


重慶新華電腦學校07


大數據行業有也有很多崗位劃分,比如大數據開發工程師,大數據運維工程師,大數據分析師等。

題主是想知道成為一名大數據開發工程師所必須具備的計算機理論知識吧?



  • 首先,任何IT行業最好是具備計算機的理論知識,(當然對於部分人來說並不是必須的),只有這樣才能在IT行業長遠發展。推薦書籍:深入理解計算機系統,現代操作系統,計算機網絡(自頂向下方法),編譯原理等。當然做大數據開發 linux 系統的基本知識是離不開的。
  • 其次,可以讀一讀 hadoop 權威指南這本書,特別厚,目前也有很多關於 hadoop 的入門視頻以及講座,包括 mapreduce 的基本原理,你可以使用 java 寫一個 worldCount 的程序部署在 hadoop 集群上跑一跑。讀完之後相信你心中已經有一張大數據開發所需要具備的技能網。學習了 hadoop 之後,需要學習一下 Spark ,因為 spark 是基於內存的計算,效率上是量級的提升,目前已經運用非常廣泛。


  • 最後推薦個學習路徑吧:

如果需要學習資源的歡迎關注,私信我免費分享大數據的學習視頻以及相關電子書(ps:hadoop權威指南可是很貴的哦)。


Coding之路i



趙89112171


計算機只是數據分析的工具而已,大數據人才個人意見覺得要明銳的洞察力,善於建立數據分析模型,通過數據變化發掘變化的原因,提出問題和解決問題的方向。


分享到:


相關文章: