伴随着电信运营商 “大数据、超细分、微营销、精服务” 的理念贯穿，使其从2013年的流量运营时代逐期变革到2018年的精准服务时代，回望这几年围绕大数据所展开的业务延展真心让我们感慨万千。“什么用户画像、什么多租户管理平台、什么数据管控、什么实时营销、什么智慧服务……”，一切围绕大数据展开的“新型”业务和技术问题应运而生。当然这些并非仅是电信行业的专属代名词，今天的互联网和传统商业公司同样需要以大数据能力去支撑业务创新。

所以，移动互联网已经成熟稳健，而作为牵动今天移动互联网生态发展的首个“入口”，就是我们移动终端的数据流量。作为2018年的新时代，是时候拿出五年前的内容与大伙分享了。就让我们从电信行业的实际业务出发，了解他们是如何运用大数据支撑流量经营的。

随着移动互联网的高速发展、智能终端迅速普及，以及移动数据流量迅猛增长、运营商的流量收入占比快速攀升并已是战略转型的重点。但是，完成巨量用户的上网行为数据汇总、分析，这已经成为IT系统架构亟待解决的问题；

这里面为了支撑流量经营的发展，引入了DPI、互联网日志和位置信令等多种网络数据源。

互联网日志：通过综合网关获得CMWAP/CMNET两类日志，日话单记录数达到50多亿（约2TB），奠定用户内容偏好分析的基础；
其他数据：还有从分析系统获取的信令数据源，同时引入mms（多媒体短信）和dns（域名访问系统）话单等，日话单记录数也达到了近20亿多条；

因此上述数据统称为流量数据。以一个大省份为例（河南、浙江等人口多），流量数据每日接入大小约5T、170亿条左右，是每日2.8亿条语音话单的近60倍，是每日5.8亿条GPRS话单的29倍，这需要大数据平台的数据承载力（存储）和任务处理能力（计算）。

从右下角的图也可以看出来，移动互联网时代，运营商的数据量呈井喷增长，大数据量主要体现在位置数据、互联网数据、DPI数据等。

基于上述海量数据源的接入，在2013年那个时期先别想着怎么加工和分析，首先数据存储就是个大问题。

左上角表格体现出：这些数据量统计后约为5TB/天，而且这些数据特点如下：

•大多是HTML格式，数据复杂，没有特定的模型描述；
•既有数值型，又有分类数据和WEB特有的数据类型；
•数据本身是在时刻动态更新和变化的；

而且，当前经营分析系统的ODS层（操作数据存储）日全量数据约为1TB，但源于网络侧的仅ODS层数据就达到了5T，即使不考虑当前系统的扩展瓶颈，仅仅考虑数据规模就需要当前5－6倍的处理能力才能与之匹配；应对海量级互联网数据的处理，需占用较多主机资源，对主机性能和处理效率要求高。

这些数据的承载如果使用传统架构将难以支撑。数据量巨大难以及时处理并汇总入库，同时业务需要更快的处理时效，当前硬件承载巨大压力难以保障。为啥？贵呗。传统小型机要钱吧？当时一台P780就得一千万，还不算软硬件维保和服务，再加上中高端存储（平局5万元/TB），所以不行，得换架构。就算不换架构，小型机是什么设计模式？软硬件堆叠的扩展模式，扩展度低且不划算。再者，传统数据库更多的是支持结构化数据，移动互联网的非结构数据将无法承载。

所以，当时各行各业全都选择Hadoop去承载大数据存储系统，可以在数据仓库外部承载接口层数据到汇总层数据的处理，减轻核心数据仓库压力、释放资源并有效控制成本。

曾经的流量经营时代，电信运营商是如何处理海量数据的？

基于大数据基础承载，还需要进行上传业务的封装的应用拓展。在这里引入了流量运营平台。可以基于用户手机上网使用流量业务的行为分析，构建数据业务的潜在用户模型。例如：手机阅读潜在用户、手机游戏潜在用户、手机音乐潜在用户等多个属性供营销管理平台使用；

不仅如此，平台还能支撑其他业务需求，比如：

•对原有的业务关联分析模型进行优化。通过手机上网内容与用户适用业务进行关联分析。
•套餐用户流量内容分析需求。分析套餐用户在地域品牌维度下的内容、网站top20相关数据以及对比分析需求，可向智能机用户推荐自有业务。
•校园用户热点内容分析需求。分析校园用户的热点内容应用和业务使用情况，找出这两个学校学生用户的上网偏好和特征，有针对性的进行营销，不断提升校园市场用户流量。
•……

介绍到这里，是不是我们仿佛回到了五年前，再次回顾了电信运营商的大数据发展之观？