什么是大数据技术?

用户2328634390846


大数据是数据分析,数据挖掘到后面的智能化的基础。大数据的发展要分为几个阶段来看。

第一阶段,就是数据的采集阶段也就是现在发展的物联网就处于这个阶段。

第二阶段是数据分析阶段,将物联网采集来的数据根据实际使用场景通过一些算法分析展示出来。

第三阶段是智能化阶段,通过数据挖掘,数据建模,用户行为分析,将数据分流给感兴趣的人,或者通过分析给出人们合理的方案供人们参考。或者直接启动一些小的执行策略。

第四阶段人工智能,模拟人们的思想或者行为辅助人们生活也就是现在说的AI。

大数据是所有人工智能的基础。

可以关注@秦岭侃科技,揭秘科技那些事。

欢迎在评论中发表自己的不同观点,一起探讨。



秦岭侃科技


大数据是我的主要研究方向之一,同时也在带大数据方向的研究生,所以我来回答一下这个问题。

首先,大数据技术是一系列围绕数据价值化的技术总称,包括数据采集技术、数据存储技术、数据分析技术、数据呈现技术以及数据应用技术等,其中大数据技术与物联网技术、云计算技术、边缘计算技术和人工智能技术有紧密的联系。

按照目前大数据产业链的分布来说,大数据技术是从数据采集技术开始的,目前主要的数据采集渠道包括物联网系统(占比百分之90以上)、Web系统(含App)和传统信息系统,比较常见的数据采集方式就是通常“爬虫”等方式来实现,另外涉及到数据清洗技术,重点在于Sql语言的学习和掌握。

数据分析是目前大数据技术的重点,数据分析技术有两种常见的方式,分别是机器学习方式和统计学方式,不论采用哪种方式都需要具备一定的数学基础和编程基础。以机器学习方式为例,首先要掌握常见的机器学习算法,包括决策树、k-mean、SVM、Apriori、EM、PageRank、kNN、朴素贝叶斯等,接下来需要通过编程语言完成算法实现,目前Python语言在机器学习领域有广泛的使用。

通过Python语言来进行数据分析需要掌握一些比较常见的库,包括Numpy、Scipy、Matplotlib(用于结果呈现)、pandas等。Python语言借助于大量的库能够为数据分析人员节省大量的时间,而且调整起来也比较方便。目前大数据比较常见的落地应用就是数据分析,尤其是结合具体行业的场景大数据分析。

在产业互联网领域,由于企业的数据具有高度的机密性,所以通常对于数据的应用边界有严格的要求,此时就需要采用云计算和边缘计算相结合的数据处理方式,让数据在网络边缘进行处理,把结果返回到云端。

随着大数据技术和5G网络的逐渐落地应用,大数据技术也将被赋予更多的含义,相信未来大数据技术体系会越来越庞大,相关的研究方向也会越来越多。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网方面的问题,或者考研方面的问题,都可以咨询我,谢谢!


分享到:


相關文章: