前进2685

随着大数据的产业化进程逐渐加快，大数据行业的人才短缺问题也越来越引起重视，目前很多高校在近两年都陆续开设了大数据相关专业，相信未来大数据的发展空间会非常大，从业人数也会越来越多。现在有不少人都转向大数据方向，尤其以计算机、统计和数学相关专业的比较多，这三个专业也是与大数据关系最为紧密的专业。

大数据与计算机的关系非常密切，大数据的出现是物联网、云计算发展到一定阶段的必然产物，所以掌握计算机相关知识对掌握大数据非常重要。在我看来，大数据专业人士需要掌握以下计算机知识：

第一，操作系统。目前大数据平台大部分都是基于Linux操作系统，所以掌握Linux系列操作系统的应用对大数据来说非常重要。

第二，数据库。数据库作为大数据平台的存储策略是一定要掌握的，包括传统的关系型数据库和大数据系统的NoSql数据库。

第三，大数据平台。目前比较流行的大数据平台包括Hadoop和Spark，掌握这两个平台的使用是比较重要的。

第四，编程语言。目前在大数据开发领域使用比较多的语言包括Python、R、Scala、Java等，掌握编程语言对于大数据开发来说是重要的基础。

第五，算法设计。算法是进行大数据分析的核心，所以必须掌握常见的大数据分析算法。

我的研究方向是大数据和人工智能，目前也在带大数据方向的研究生，我会陆续在头条上写一些关于大数据方面的科普文章，感兴趣的朋友可以关注我的头条号，相信一定会有所收获。

如果有大数据方面的问题，也可以咨询我。

谢谢！

IT人刘俊明

成为大数据人才计算机要学到什么程度？

不知道楼主所谓的人才是只是获得怎样的成就才是人才。首先要掌握的就是Java语言和Linux操作系统，这两个是大数据的基础。学习顺序的话不分前后的。

（1）Java：

（2）Linux：因为大数据相关软件都是在Linux上面运行的所以，Linux要学习很扎实。它能让你更好的理解hadoop,hive,hbase,spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样更容易理解配置大数据集群。

看路线图可以按照路线图去逐步的学习。下面再来回答下大户局必须要掌握的知识点：

Hadoop：这事现在流行的大数据处理平台。包括HDFS、MapReduce和YARN，HDFS是储存数据的地方想我们的电脑硬盘一样，都存储在这个上面。MapReduce是对数据进行处理计算的，它的特点是不管多大的数据只要有时间就能跑完。YARN是体现Hadoop平台概念的重要组件。

大数据中重要的要掌握的几点：

Zookeeper：安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。需要把它安装正确 ，让它正常的跑起来。

Mysql：在Linux上把它安装好，运行起来，会配置简单的权限，修改root密码，创建数据库。

Sqoop：这个是用于把Mysal里面的数据导入Hadoop里面。

Hive：和Pig同理，想要变得厉害可以都学习。

Oozie：可以帮你管理你的Hive或者MapReduce、Spark脚本还能检查你的程序执行的是否正确。

Hbase：这个是Hadoop生态体系中的NOSQL数据库，是按照key和value的形式存储的并且key是唯一的。所以可以帮你做数据排重，它与MYSQL相比存储的数据量大。

Kafka：这个是队列工具。可以利用它来做线上实时数据的入库或者是入HDFS，与Flume的工具配合使用，专门用来提供对数据进行简单处理。

Spark：这个工具是用来弥补MapReduce处理数据速度上的缺点，特点就是把数据装载到内存里面去计算。适合做迭代运算，Java语言或者Scala都可以操作它，他们都是用JVM的。

上面的知识点和线路图你能完整的学下来掌握，基本去哪家企业都很抢手~

传智播客

这个并不是绝对的，主要看你自己是否喜欢有决心学。有没有基础知识决定你入门和学习进度，没有基础一样可以从头开始学的啊。

重庆新华电脑学校07

大数据行业有也有很多岗位划分，比如大数据开发工程师，大数据运维工程师，大数据分析师等。

题主是想知道成为一名大数据开发工程师所必须具备的计算机理论知识吧？

• 首先，任何IT行业最好是具备计算机的理论知识，(当然对于部分人来说并不是必须的)，只有这样才能在IT行业长远发展。推荐书籍：深入理解计算机系统，现代操作系统，计算机网络(自顶向下方法)，编译原理等。当然做大数据开发 linux 系统的基本知识是离不开的。
• 其次，可以读一读 hadoop 权威指南这本书，特别厚，目前也有很多关于 hadoop 的入门视频以及讲座，包括 mapreduce 的基本原理，你可以使用 java 写一个 worldCount 的程序部署在 hadoop 集群上跑一跑。读完之后相信你心中已经有一张大数据开发所需要具备的技能网。学习了 hadoop 之后，需要学习一下 Spark ，因为 spark 是基于内存的计算，效率上是量级的提升，目前已经运用非常广泛。
• 
  
  
• 最后推荐个学习路径吧：

如果需要学习资源的欢迎关注，私信我免费分享大数据的学习视频以及相关电子书(ps:hadoop权威指南可是很贵的哦)。

Coding之路i

赵89112171

计算机只是数据分析的工具而已，大数据人才个人意见觉得要明锐的洞察力，善于建立数据分析模型，通过数据变化发掘变化的原因，提出问题和解决问题的方向。

關鍵字: 大数据 越来越 科技