学习大数据要有哪些预备知识?

戴上面具谈人生


大数据是我的研究方向之一,所以我来回答一下这个问题。

大数据产业链围绕数据展开,有数据采集、整理、传输、存储、安全、分析、呈现和应用,涉及到诸多学科的综合使用,不同的岗位需要的基础知识也不尽相同。下面我以大数据工程师岗位,粗粒度的介绍一下大数据的基础知识。

第一,操作系统知识。大数据平台往往搭建在Linux操作系统之上,所以大数据工程师要有Linux系列操作系统的知识。

第二,数据库基础。大数据一个重要的内容是数据存储,要掌握传统数据库知识,包括建库、建表、Sql语句的使用等等。当然在学习大数据的时候还要学习Nosql数据产品。

第三,网络基础。大数据的数据来源于网络,尤其是物联网系统,所以掌握网络基础知识对学习大数据来说非常重要。

第四,程序设计基础。在大数据领域使用比较广泛的编程语言有Python、R、Java、Scala等语言,这些编程语言也是比较常见的,所以掌握其中一门语言对学习大数据来说是至关重要的。

第五,算法基础。大数据分析需要使用到很多算法,学习大数据要了解常见的算法,比如k近邻、决策树、朴素贝叶斯、支持向量机、回归等。

我目前在带大数据团队,对大数据领域比较熟悉,我会陆续在头条上写一些关于大数据方面的科普文章,感兴趣的朋友可以关注我的头条号,相信一定会有所收获。

如果有大数据方面的问题,也可以咨询我。

谢谢!