03.06 怎么简单理解“大数据”及其应用?

faqiangu


1.数据不是单纯的数字,而指包含数据在内的一切信息,是data,而不是number。

大数据是经过数据采集、分析、可视化呈现这些程序后的结果。

2.应用在哪些方面:

大数据广泛应用于各种领域,在此仅概括举例一二。

(1)新闻报道:在媒体新闻报道时,不只是对信息的简单整理和复制。做出一个好新闻,也需要大数据的帮助,哪些是大众热议的话题,哪些事件内容具有相关性或因果关系,这些都有大数据的统计和参与。

(2)信息的个性化人性化传播:通过大数据的某种运算,提供有效信息。

举例:如在今日头条或抖音上,大家刷到的内容是不一样的,它会根据你觉得兴趣爱好、关注领域来推送,这就是大数据运用的结果。

(3)重大事件:如此次疫情当中,对疫情严重地区具体地理位置的获取,严重程度的分析,所需物资的统计等等,都采用了大数据。

就如我们可以感知到的:“获取个人位置查看周围是否有疫情病例”,这个就是一个简单的数据处理。

大数据是海量的,多种多样的,取之不尽的,看你如何分析,从那个角度去运用。

3.经典案例

现有的如:抖音、今日头条、B站等各大信息平台的信息推送,打造个性化差异化平台,并取得巨大陈成功。


独醒茶心


大数据说到底就是一个大字。到底有多大看拿维基百科上的例子来说,CERN做的LHC(大型强子对撞机)周长27公里,里面一共有1.5亿个传感器,每秒钟读数达四千万次。每秒钟发生的粒子对撞高达6亿次。剔除99.999%的无用数据,每秒钟也有100次碰撞需要记录。如果在这些数据里面仅仅使用十万分之一,那么一年也要积累25 petabytes的数据,相当于25000个1TB的硬盘。

在这些数据里寻找希格斯玻色子的证据,是真正的大海捞针。这么大的数据你给我用Excel算算看看不要说计算,根本连载入内存都不可能。

再比如说,Facebook据说拥有500亿以上的用户照片。前些日子美国波士顿发生了爆炸案。这些照片里可能就有爆炸案的线索。那你给我找找看那张照片上面有嫌犯看波士顿马拉松仅运动员就有两三万人,围观群众近五十万。在同一时间同一地点拍摄的照片可能有几十万张,录像可能有几千小时。用人工一张一张看过来是不切实际的。如果要考察爆炸案前后几天的照片那就更不现实了。还有的照片根本就没有时间和地点信息。

再举一个例子。2009年华盛顿大学的研究人员使用15万张Flickr上的图片,重建了整个罗马城的3D模型。整个重建过程的计算使用了496个CPU核心,耗时8小时。如果每张照片按100KB计算,总数据量达到15GB。至少要达到这个级别的数据,才能称得上大数据。


人生短短三十年


大数据,很明显从字面上理解就是大量的数据,海量的数据。大,意思就是数据的量级很大,不上TB都不好意思说是大数据。数据,狭义上理解就是12345那么些数据,毕竟计算机底层是二进制来存的,那么在大数据领域,数据就不仅仅包括数字这些,它可以是所有格式的东西,比如日志,音频视频,文件等等。

所以,大数据从字面上理解就是海量的数据,技术上它包括这些海量数据的采集,过滤,清洗,存储,处理,查看等等部分,每一个部分包括一些大数据的相关技术框架来支持。

举个例子,淘宝双十一的总交易额的显示,后面就是大数据技术的支持,全国那么多淘宝用户的交易记录汇聚到一起,数据量很大,而且要做到实时的展现,就需要强有力的大数据技术来处理了。

数据量一大,那么得找地方来存,一个服务器硬盘可以挂多少,肯定满足不了这么大的数据量存储啊,所以,分布式的存储系统应运而生,那就是HDFS分布式文件系统。简单的说,就是把这么大的数据分开存在甚至几百甚至几千台服务器上,那么管理他们的系统就是HDFS文件系统,也是大数据技术的最基本的组件。

有地方存了,需要一些分布式的数据库来管理查询啊,那就有了Hbase等,还需要一些组件来计算分析这些数据啊,mapreduce是最基本的计算框架,其他的计算框架Spark和Storm可以完成实时的处理,其中HDFS和MapReduce组成了Hadoop1.

总之,一切都是数据。我们的历史,是不是都是大量的数据保存下来的,现在我们也是大数据的生活,天天有没有接到骚扰电话还知道你姓什么,你查话费什么的从几亿人的数据中查到你的信息,大数据生活。未来,大数据将更深刻的渗透到生活中。


大罗先生


大数据(big data),或称巨量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。在商业领域指的是所涉及的资料规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。对于组织和个人职业生涯而言,成功的大数据项目应该都是一场成果显著的胜利。但如果优先顺序出错,那么大数据项目在实行伊始便注定将以失败告终。区分数据真实度(veracity)、可视化(visualization)以及价值(value)的优先顺序是成功的关键。


陌上寒烟雪纷飞


怎样简单理解“大数据”及其应用?

“大数据”研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

如今,大数据在互联网,电子商务领域得到了有效的应用,主要体现在以下几个方面:

(1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;

(2)做小而美模式的中小微企业可以利用大数据做服务转型;

(3)面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

在电商领域,大数据被企业充分挖掘并使用,比如淘宝的千人千面系统,每个进入淘宝的客户,淘宝根据其搜索浏览方向,内容,使用习惯等对每个人进行标签化,众多的淘宝客户标签便形成了淘宝大数据,淘宝方面可以根据客户特征,特点等标签,更为精准的向进入淘宝的客户推荐更符合该用户需求及预期的产品或服务。

头条系应用也多采用大数据标签化,针对性的向顾客推荐算法下更为优质且更符合访问者需求的素材。



科技沈说


简单理解大数据:大量行为数据的汇总便是大数据。有了大数据可以让各行各业更加精准高效的工作。

举例一、头条根据统计每个人的行为数据,知道个人喜好,精准的投放你喜欢的内容,同时也精准的投放广告。要知道以前没有这些数据的时候,网站投放广告是投放给每一用户的,这样浪费广告资源,也浪费了投放广告方资源。

举例二、外卖餐厅可以通过大数据知道店内每个菜品消费者喜爱情况,用户年龄,性别,喜好等画像。便于后续更精准的调整菜品及服务。

对于大数据,麦肯锡全球研究所给出的定义是:

”一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。“

大数据具有五大特点,称为5V。

1. 多样(Variety)

大数据的多样性是指数据的种类和来源是多样化的,数据可以是结构化的、半结构化的以及非结构化的,数据的呈现形式包括但不仅限于文本,图像,视频,HTML页面等等。

2. 大量(Volume)

大数据的大量性是指数据量的大小,这个就是上面笔者介绍的内容,不再赘述。

3. 高速(Velocity)

大数据的高速性是指数据增长快速,处理快速,每一天,各行各业的数据都在呈现指数性爆炸增长。在许多场景下,数据都具有时效性,如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时,必须要高速处理,快速响应。

4. 低价值密度(Value)

大数据的低价值密度性是指在海量的数据源中,真正有价值的数据少之又少,许多数据可能是错误的,是不完整的,是无法利用的。总体而言,有价值的数据占据数据总量的密度极低,提炼数据好比浪里淘沙。

5. 真实性(Veracity)

大数据的真实性是指数据的准确度和可信赖度,代表数据的质量。

数据一直都在,变革的是方式

大数据的意义不仅仅在于生产和掌握庞大的数据信息,更重要的是对有价值的数据进行专业化处理。

人类从来不缺数据,缺的是对数据进行深度价值挖掘与利用。可以说,从人类社会有了文字以来,数据就开始存在了,现在亦是如此。这其中唯一改变的是数据从产生,到记录,再到使用这整个流程的形式。

1. 数据生产

在人类社会的早期,民以食为天,数据的产生大多与商品,食物,土地等挂钩。旧石器时代的部落人民在树枝或骨头上刻下凹痕来记录日常的交易活动或物品供应。

为了衡量商品长度,中国人发明了尺、里、寸、丈、步、仞等长度单位;为了衡量重量,发明了升、斗,斛等重量单位。

在互联网时代,数据的生产变得更为容易。美国互联网数据中心曾指出,互联网上的数据每年都将增长50%,每两年便将翻一倍,而目前世界上90%以上的数据是最近几年才产生的。

每人每天都会产生海量数据,如视频数据,电商数据,社交数据等等。

2. 数据记录

千年之前,人们用龟甲石鼓、简牍绢帛到造纸术成熟后的刻本等一切触手可及的器物来作为数据的载体。

千年之后,人们用图书,报纸,硬盘,光盘,存储器等各种更为灵活,简便的方式记录数据。

3. 数据利用

古人利用利用甲骨文占卜判断凶吉,利用占星术预测朝代兴衰;利用蚂蚁搬家,燕子低飞,蚯蚓出洞来预测天气。

互联网时代,企业或产品利用电商数据为用户推荐商品,利用社交数据做广告营销等等。

在大数据概念兴起之前,大部分企业并没有注意到数据的宝贵价值,只是在纯粹的生产和记录数据。更有甚者视海量数据为累赘,因为数据的存储与管理需要耗费企业大量的成本,极少有企业能把数据作为一种资源,嗅到大数据背后的价值,从而加以利用。就算到现在,数据资源的整合利用能力依然是考验每个企业的一大难点。

大数据应用

大数据作为一个能够改变产业应用的技术,只有切实落地才能带来真正的价值。

其实大数据的应用范围非常广,不单单限于互联网行业,在其他诸如金融,制造业,交通物流方面也都有非常大的应用价值。

1. 大数据让借贷款更加放心

在金融行业中,以借贷款为例。在贷款前,贷款借出方会先利用大数据对借款人进行贷前审核,以此来保障贷后的还款率。

借出方从各个渠道合法收集借款人的标签信息,如学历,职业,薪资状况,历史借还款情况等(据说一个用户的标签维度可以达到7000个)。海量数据被放入反欺诈模型,还款能力模型,身份验证模型等数个中做训练,最终得出是否通过本次贷款申请,贷款的额度,贷款人的还款意愿等评估信息。

借款人数据收集的越多,标签维度越细,数据越真实,则审核效果越全面。

2. 大数据让广告营销更高效

广告作为互联网行业最常见的变现手段之一,大数据赋能广告营销,让广告从惹人恼转变为广告即内容,广告即服务。

曾几何时,你会发现日常生活中看到的广告居然那么懂你。点开淘宝,你最爱的商品被推荐在Banner首页;打开微信朋友圈,映入眼帘的是你正想要做的汽车保养;打开百度搜索,你前两天看的别墅信息赫然出现。

这一切的实现都得益于大数据赋能广告。

在广告投放前期,通过大数据手段大量的整合、分析数据,包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等,并从中挖掘出有效的信息;构建全面的用户画像,结合广告业务,精准定位目标用户,保证广告定向投放。

在广告投放的中后期,通过实时数据反馈,结合用户所处地域,时间的变化,动态优化广告素材,调整广告的呈现方式与广告的展览位置,让同一个用户在不同的场景下享受不一样的广告服务,实现一人千面,增加广告营销效果,提升广告主KPI。

3. 大数据赋能零售

新零售时代,客户的需求无时无刻不在变化,大数据赋能零售,让零售在人,货,场上进行变革。

零售商可以借助大数据对未来市场需求进行预测,抢先一步对库存进行管理。在流量高发的前期,及时补足库存,提升商品供应率;在流量散去的前期,及时去库存,避免库存积压。

借助大数据分析用户地域分布情况,商店流量,消费者习惯等那个,在合适的地区开设商店,建造仓库。在物流发货时,从数据出发,合理规划运输路劲,降低运输成本。

利用数据还可以统一上下游供应链交互,解决数据不对成问题,减小牛鞭效应,提升供应链中每个环节的利用效率。

总结

数据一直都在,大数据变革的只是方式。大数据并不神秘,神秘的是对未知数据的探索与利用。



桑丘说影视


大数据:所有数据的集合!

大数据具有五大特点,称为5V。

1. 多样(Variety)

大数据的多样性是指数据的种类和来源是多样化的,数据可以是结构化的、半结构化的以及非结构化的,数据的呈现形式包括但不仅限于文本,图像,视频,HTML页面等等。

2. 大量(Volume)

大数据的大量性是指数据量的大小,这个就是上面笔者介绍的内容,不再赘述。

3. 高速(Velocity)

大数据的高速性是指数据增长快速,处理快速,每一天,各行各业的数据都在呈现指数性爆炸增长。在许多场景下,数据都具有时效性,如搜索引擎要在几秒中内呈现出用户所需数据。企业或系统在面对快速增长的海量数据时,必须要高速处理,快速响应。

4. 低价值密度(Value)

大数据的低价值密度性是指在海量的数据源中,真正有价值的数据少之又少,许多数据可能是错误的,是不完整的,是无法利用的。总体而言,有价值的数据占据数据总量的密度极低,提炼数据好比浪里淘沙。

5. 真实性(Veracity)

大数据的真实性是指数据的准确度和可信赖度,代表数据的质量。

大数据常见领域:

大数据的应用方面,用我们日常生活中会被收集到的,如头条,淘宝,和美团等。

当你在刷头条的时候,经常点击的内容,会通过头条后台记录数据,头条会根据你点击的内容,分析出你的兴趣爱好,从而推送给你可能感兴趣的内容。

当你在淘宝反复搜索某一类商品时,如数码,你就会发现,每次你打开淘宝领取红包后,你红包消费的内容就是你经常搜索的内容。

当你在美团订购外卖的时候,经常订汉堡的,你每次打开都会出现很多汉堡店。你经常订麻辣烫,自然而然的也会出现类似的外卖店。

当然,最为成功的就是AI智能了,华为最先推出AI智能,就是通过大数据收集使用者的生活习惯,从而更方便的为使用者服务。





宁静视窗


/01

大数据的定义

首先,我们看看大数据的定义。

行业里对大数据的定义有很多,有广义的定义,也有狭义的定义。

广义的定义,有点哲学味道——大数据,是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征,从而做出提升效率的决策行为。

狭义的定义,是技术工程师给的——大数据,是通过获取、存储、分析,从大容量数据中挖掘价值的一种全新的技术架构。

相比较而言,狭义定义更好理解一些。

大家注意,关键词我都在上面原句加粗了:

要做什么?——获取数据、存储数据、分析数据

对谁做?——大容量数据

目的是什么?——挖掘价值

获取数据、存储数据、分析数据,这一系列的行为,都不算新奇。我们每天都在用电脑,每天都在干这个事。

例如,每月的月初,考勤管理员会获取每个员工的考勤信息,录入Excel表格,然后存在电脑里,统计分析有多少人迟到、缺勤,然后扣TA工资。

但是,同样的行为,放在大数据身上,就行不通了。换言之,传统个人电脑,传统常规软件,无力应对的数据级别,才叫“大数据”。

/02

大数据,到底有多大?

我们传统的个人电脑,处理的数据,是GB/TB级别。例如,我们的硬盘,现在通常是1TB/2TB/4TB的容量。

TB、GB、MB、KB的关系,大家应该都很熟悉了:

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

而大数据是什么级别呢?PB/EB级别。

大部分人都没听过。其实也就是继续乘以1024:

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

只是看这几个字母的话,貌似不是很直观。我来举个例子吧。

1TB,只需要一块硬盘可以存储。容量大约是20万张照片或20万首MP3音乐,或者是20万部电子书。

普通硬盘

1PB,需要大约2个机柜的存储设备。容量大约是2亿张照片或2亿首MP3音乐。如果一个人不停地听这些音乐,可以听1900年。。。

2个机柜

1EB,需要大约2000个机柜的存储设备。如果并排放这些机柜,可以连绵1.2公里那么长。如果摆放在机房里,需要21个标准篮球场那么大的机房,才能放得下。

21个篮球场

阿里、百度、腾讯这样的互联网巨头,数据量据说已经接近EB级。

阿里数据中心内景

EB还不是最大的。目前全人类的数据量,是ZB级。

1 ZB = 1024 EB (ZB - zettabyte)

2011年,全球被创建和复制的数据总量是1.8ZB。

而到2020年,全球电子设备存储的数据,将达到35ZB。如果建一个机房来存储这些数据,那么,这个机房的面积将比42个鸟巢体育场还大。

数据量不仅大,增长还很快——每年增长50%。也就是说,每两年就会增长一倍。

目前的大数据应用,还没有达到ZB级,主要集中在PB/EB级别。

大数据的级别定位

1 KB = 1024 B (KB - kilobyte)

1 MB = 1024 KB (MB - megabyte)

1 GB = 1024 MB (GB - gigabyte)

1 TB = 1024 GB (TB - terabyte)

1 PB = 1024 TB (PB - petabyte)

1 EB = 1024 PB (EB - exabyte)

1 ZB = 1024 EB (ZB - zettabyte)

/03

数据的来源

数据的增长,为什么会如此之快?

说到这里,就要回顾一下人类社会数据产生的几个重要阶段。

大致来说,是三个重要的阶段。

第一个阶段,就是计算机被发明之后的阶段。尤其是数据库被发明之后,使得数据管理的复杂度大大降低。各行各业开始产生了数据,从而被记录在数据库中。这时的数据,以结构化数据为主(待会解释什么是“结构化数据”)。数据的产生方式,也是被动的。

世界上第一台通用计算机-ENIAC

第二个阶段,是伴随着互联网2.0时代出现的。互联网2.0的最重要标志,就是用户原创内容。随着互联网和移动通信设备的普及,人们开始使用博客、facebook、youtube这样的社交网络,从而主动产生了大量的数据。

第三个阶段,是感知式系统阶段。随着物联网的发展,各种各样的感知层节点开始自动产生大量的数据,例如遍布世界各个角落的传感器、摄像头。

经过了“被动-主动-自动”这三个阶段的发展,最终导致了人类数据总量的极速膨胀。

/04

大数据的4个V

行业里对大数据的特点,概括为4个V。

前面所说的庞大数据体量,就是Volume(海量化)。除了Volume之外,剩下三个,分别是Variety、Velocity、Value。

我们一个一个来介绍。

Variety(多样化)

数据的形式是多种多样的,包括数字(价格、交易数据、体重、人数等)、文本(邮件、网页等)、图像、音频、视频、位置信息(经纬度、海拔等),等等,都是数据。

数据又分为结构化数据和非结构化数据。

从名字可以看出,结构化数据,是指可以用预先定义的数据模型表述,或者,可以存入关系型数据库的数据。

结构化数据

例如,一个班级所有人的年龄、一个超市所有商品的价格,这些都是结构化数据。

而网页文章、邮件内容、图像、音频、视频等,都属于非结构话数据。

在互联网领域里,非结构化数据的占比已经超过整个数据量的80%。

大数据,就符合这样的特点:数据形式多样化,且非结构化数据占比高。

Velocity(时效性)

大数据还有一个特点,那就是时效性。从数据的生成到消耗,时间窗口非常小。数据的变化速率,还有处理过程,越来越快。例如变化速率,从以前的按天变化,变成现在的按秒甚至毫秒变化。

我们还是用数字来说话:

就在刚刚过去的这一分钟,数据世界里发生了什么?

Email:2.04亿封被发出

Google:200万次搜索请求被提交

Youtube:2880分钟的视频被上传

Facebook:69.5万条状态被更新

Twitter:98000条推送被发出

12306:1840张车票被卖出

……

怎么样?是不是瞬息万变?

Value(价值密度)

最后一个特点,就是价值密度。

大数据的数据量很大,但随之带来的,就是价值密度很低,数据中真正有价值的,只是其中的很少一部分。

例如通过监控视频寻找犯罪分子的相貌,也许几TB的视频文件,真正有价值的,只有几秒钟。

2014年美国波士顿爆炸案,现场调取了10TB的监控数据(包括移动基站的通讯记录,附近商店、加油站、报摊的监控录像以及志愿者提供的影像资料),最终找到了嫌疑犯的一张照片。

/05

大数据的价值

刚才说到价值密度,也就说到了大数据的核心本质,那就是价值。

人类提出大数据、研究大数据的主要目的,就是为了挖掘大数据里面的价值。

大数据,究竟有什么价值?

2012年的世界经济论坛指出:“数据已经成为一种新的经济资产类别,就像货币和黄金一样”。这无疑将大数据的价值推到了前所未有的高度层面上。

如今,大数据应用开始走进我们的生活,影响我们的衣食住行。

滴滴的大数据杀熟,相信大家都有所耳闻

之所以大数据会有这么快的发展,就是因为越来越多的行业和企业,开始认识到大数据的价值,开始试图参与挖掘大数据的价值。

归纳来说,大数据的价值主要来自于两个方面:

1 帮助企业了解用户

大数据通过相关性分析,将客户和产品、服务进行关系串联,对用户的偏好进行定位,从而提供更精准、更有导向性的产品和服务,提升销售业绩。

典型的例子就是电商。

像阿里淘宝这样的电子商务平台,积累了大量的用户购买数据。在早期的时候,这些数据都是累赘和负担,存储它们需要大量的硬件成本。但是,现在这些数据都是阿里最宝贵的财富。

通过这些数据,可以分析用户行为,精准定位目标客群的消费特点、品牌偏好、地域分布,从而引导商家的运营管理、品牌定位、推广营销等。

大数据可以对业绩产生直接影响。它的效率和准确性,远远超过传统的用户调研。

除了电商,包括能源、影视、证券、金融、农业、工业、交通运输、公共事业等,都是大数据的用武之地。

大数据甚至能够帮助竞选总统

2 帮助企业了解自己

除了帮助了解用户之外,大数据还能帮助了解自己。

企业生产经营需要大量的资源,大数据可以分析和锁定资源的具体情况,例如储量分布和需求趋势。这些资源的可视化,可以帮助企业管理者更直观地了解企业的运作状态,更快地发现问题,及时调整运营策略,降低经营风险。

总而言之,“知己知彼,百战百胜”。大数据,就是为决策服务的。

/06

大数据和云计算

说到这里,我们要回答一个很多人心里都存在的疑惑——大数据和云计算之间,到底有什么关系?

可以这么解释:数据本身是一种资产,而云计算,则是为挖掘资产价值提供合适的工具。

从技术上,大数据是依赖于云计算的。云计算里面的海量数据存储技术、海量数据管理技术、分布式计算模型等,都是大数据技术的基础。

云计算就像是挖掘机,大数据就是矿山。如果没有云计算,大数据的价值就发挥不出来。

相反的,大数据的处理需求,也刺激了云计算相关技术的发展和落地。

也就是说,如果没有大数据这座矿山,云计算这个挖掘机,很多强悍的功能都发展不起来。

套用一句老话——云计算和大数据,两者是相辅相成的。

/07

大数据和物联网(5G)

第二个问题,大数据和物联网有什么关系?

这个问题我觉得大家应该能够很快想明白,前面其实也提到了。

物联网就是“物与物互相连接的互联网”。物联网的感知层,产生了海量的数据,将会极大地促进大数据的发展。

同样,大数据应用也发挥了物联网的价值,反向刺激了物联网的使用需求。越来越多的企业,发觉能够通过物联网大数据获得价值,就会愿意投资建设物联网。

其实这个问题也可以进一步延伸为“大数据和5G之间的关系”。

即将到来的5G,通过提升连接速率,提升了“人联网”的感知,也促进了人类主动创造数据。

另一方面,它更多是为“物联网”服务的。包括低延时、海量终端连接等,都是物联网场景的需求。

5G刺激物联网的发展,而物联网刺激大数据的发展。所有通信基础设施的强大,都是为大数据崛起铺平道路。

/08

大数据的产业链

接下来再说说大数据的产业链。

大数据的产业链,和大数据的处理流程是紧密相关的。简单来说,就是生产数据、聚合数据、分析数据、消费数据。

每个环节,都有相应的角色玩家。如下图:

从目前的情况来看,国外厂商在大数据产业占据了较大的份额,尤其是上游领域,基本上都是国外企业。国内IT企业相比而言,存在较大的差距。

大数据相关重点领域及企业(技术)

/09

大数据的挑战

说了那么多大数据的好话,并不代表大数据是完美的。

大数据也面临着很多挑战。

除了数据管理技术难度之外,大数据的最大挑战,就是安全。

数据是资产,也是隐私。没有人愿意自己的隐私被暴露,所以,人们对自己的隐私保护越来越重视。政府也在不断加强对公民隐私权的保护,出台了很多法律。

欧盟在2018年出台了有史以来最严厉的GDPR(《一般数据保护法案》),把网络数据保护上升到前所未有的高度

在这种情况下,企业获取用户数据,就需要慎重考虑,是否符合伦理和法律。一旦违法,将付出极为沉重的代价。

此外,即使企业合法获取数据,也要担心是否会被恶意攻击和窃取。这里面的风险也是不容忽视的。

除了安全之外,大数据还要面临能耗等方面的问题。

换言之,如果不能很好地保护和利用手里的大数据,那么它就是一个烫手的山芋,有还不如没有。

好啦,洋洋洒洒写了这么多,相信大家已经对大数据有了初步的了解。


励志健身小青年


1、我理解的大数据就是:数据量大(Volume)、数据种类多样(Variety)、 要求实时性强(Velocity) 。对它关注也是因为它蕴藏的商业价值大(Value)。也是大数据的4V特性。符合这些特性的,叫大数据。

2、对它关注一个原因就它的大价值,比方ebay,建立的大数据分析平台可以准确分析用户的购物行为。通过对顾客的行为进行跟踪、对搜索关键字广告的投入产出进行衡量,优化后eBay 产品销售的广告费降低了99%,顶级卖家占总销售额的百分比却上升至32%。就大数据价值这一块,例子很多,详情可以再自己查查。

再一个对它关注的原因就是因为这么大量和复杂的数据确实不好管理,这样就有了处理大数据的一些技术,比如Hadoop。Hadoop是个开源的,像百度做搜索,就用Hadoop管理数据。淘宝在2011年11月11日,搞得优惠活动,你想想在零点的时候,淘宝点击有多高,每一笔买卖算一个数据请求,那怎么保证网站的正常运转啊?这些就是一些技术方面的关注了。

3、它的作用更多,拿球赛说,我们现在可以通过比赛录像找出对手缺点了。有个大数据应用是视频教练工具,用这个工具,球员可以比较和对比同一投球手的不同投球,或是几天或几周的投球情况的时间序列数据。

4、解决的问题。你问的大数据解决什么问题,应该是处理大数据的技术解决什么问题。通过我上面说的,你大概也能知道一点了,管理大规模的复杂数据需要用到大数据的技术,通过大数据的技术把这些大数据管理分析好了,可以使企业领导对各方面有更明确的认识,做出更好的决策。

总结下:大数据更多的体现数据的价值。各行业的数据都越来越多,在大数据情况下,如何保障业务的顺畅,有效的管理分析数据,能让领导层做出最有利的决策。这是关注大数据的原因。也是大数据技术要解决的问题。

这些都是我自己写的我个人的理解,供你参考。再有不明白的可以百度,或者加追问咱们共同探讨。嘿嘿。


蓝鼻子的乔巴


大数据,顾名思义,“大”该是应有之义,大数据的定义最初与容量有关系。业界有几种对大数据的定义,其中一个共同点就是数据的容量超出了原有的存储、管理和处理能力。

已经被应用到了各个行业,包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹,5G 时代大数据大数据将无处不在

金融行业,大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车行业,利用大数据和物联网技术的无人驾驶汽车,在不远的未来将走入我们的日常生活。

互联网行业,借助于大数据技术,可以分析客户行为,进行商品推荐和针对性广告投放。

餐饮行业,利用大数据实现餐饮O2O模式,彻底改变传统餐饮经营方式。

电信行业,利用大数据技术实现客户离网分析,及时掌握客户离网倾向,出台客户挽留措施。

能源行业,随着智能电网的发展,电力公司可以掌握海量的用户用电信息,利用大数据技术分析用户用电模式,可以改进电网运行,合理设计电力需求响应系统,确保电网运行安全。

物流行业,利用大数据优化物流网络,提高物流效率,降低物流成本。

城市管理,可以利用大数据实现智能交通、环保监测、城市规划和智能安防。


分享到:


相關文章: