阿里云大学实验-外卖数据分析分步骤讲解

请帮忙给小编一个关注，你的关注是对我最大的鼓励！

需要使用 Chrome 浏览器！

一、实验目标

1.1 背景介绍

爱上吃饭是一家在线外卖提供商,公司数据库中沉淀大量客户信息、套餐产品、客户行为、配送行为这些信息，但数据分散在不同的数据库中，不方便产品、运营、分析、算法人员使用。

公司希望数据仓库团队能够将散落在各个系统、各个业务环节的套餐及相关客户和配送员等运营数据整合起来，以支持客户画像、套餐产品打分、实时营销等业务使用需求，方便数据分析并为算法人员提供完备特征数据，进行深度分析探索。能够让业务人员在画像的基础上，进行自主分析，满足日常运营报表需求。

经过梳理明确了三个数据使用场景：客户画像、套餐产品打分、套餐配送时间段匹配(用于监控过热配送时段)。

1.2 环境与架构

实验环境架构：阿里云大数据计算服务MaxCompute(视频介绍)、大数据(数加)大数据开发套件 DataWorks(视频介绍)及Quick BI(视频介绍)

1.3 思路与流程

数据处理六脉神剑：1.明确目标 2.数据收集 3. 数据处理 4. 数据分析 5. 数据展现 6. 报告撰写

由于数据来自于不同的数据源系统，所以需要对数据进行整合。因此设计的实验步骤包括：源系统数据收集、建模设计及数据汇总、选取数据分析工具、场景分析及展现层设计。

1.3.1 源系统数据收集

1.3.1.1 客户管理相关数据

客户管理系统包含客户相关的源数据。当然系统中客户相关的数据还会有很多。但是在此只考虑与分析相关的数据实体。为月接口。

1.3.1.2 资源管理相关数据

套餐、食品和配送员等与企业运行息息相关的必备品在此被定义为资源。实验将引入完成分析目标所需要的资源信息。包括：商户、套餐、食品、配送员等信息。

定义的接口格式如下，均为月接口：

1.3.1.3 订单管理相关数据

在外卖点餐业务中，通常客户会有很多行为。订购行为、浏览行为、获取优惠行为、投诉行为、评价行为、咨询行为、登陆行为等等。在此将选取其中订购这个重点行为来进行讨论。定义的接口格式如下，其中客户订单为小时接口，订单属性为日接口。小时接口便于实时计算：

1.3.1.4 配送管理相关数据

前一部分已经引入了订购行为，为了完成套餐配送时间段的匹配在此还将引入配送订单信息。定义的接口格式如下，其中配送订单为日接口，配送员实时状态为小时接口。小时接口便于实时计算：

1.3.2 数据汇总建模设计

关系数据库一般采用二维数据表的形式来表示数据，一个维是行，另一个维是列，行和列的交叉处就是数据元素。关系数据的基础是关系数据库模型，通过标准的SQL语言来加以实现。

数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度表、事实表和事实表中的量度都是必不可少的组成要素。

而且数据仓库一般会分层。比较通用的是五层结构:（参考资料）

ODS 数据准备层-->

DWD 数据明细层-->

DW(B/S) 数据汇总层-->

DM 数据集市层-->

ST 数据应用层。

由于实验的时长有限，这里将保留基本的数据仓库三层结构：ODS层-->DW层-->ST层。

实体直接的层次及关系如下图：

具体的实体结构后边实验中都会讲到。

1.3.3 选取数据分析工具

本次实验将以MaxCompute工具为基础选择在阿里云的DataIDE平台进行大数据计算；使用Quick BI工具进行数据可视化展现。

1.4 场景分析及展现层设计

根据之前的企业目标，本实验将对客户套餐进行数据分析，以达到整合多数据源，了解客户指导运营的目的。设计了如下三个场景。

1.4.1 客户画像

客户画像是对客户的数学建模，不仅包含了客户的基础信息而且也包含计算出来客户的标签信息。画像可以用在很多方面：精准营销、数据挖掘、统计分析、业务运营等。或是给用户提供自主查询功能使用户更便捷获得客户信息。

1.4.2 套餐打分

这个场景是外卖提供方用来评估推出的套餐是否合理，是否利润率过低。如果套餐推出不合理，利润率过低那么我们就要对这部分套餐进行优化或淘汰。

1.4.3 套餐配送过热时间段实时监控

实时营销(Real Time Marketing)是指根据特定消费者当前的个性需要，为其提供商品或服务。实时分析在哪个时间段配送无法保障，及时提醒客户更改预定时间。由于实验篇幅限制这里用准实时处理来代替实时处理。

二、实验环境准备

2.1 申请MaxCompute资源

1. 请点击页面左侧的 实验资源 ，在左侧栏中，查看本次实验资源信息。

2. 在弹出的左侧栏中，点击 创建资源 按钮，开始创建实验资源。

3. 资源创建过程需要1-3分钟。完成实验资源的创建后，用户可以通过 实验资源 查看实验中所需的资源信息，例如：阿里云账号等。

2.2 沙箱环境申请

2.2.1 通过沙箱环境申请实验资源

本实验默认提供MaxCompute、Data IDE、及Quick BI沙箱实验环境。

1) 通过沙箱申请资源成功后，在本地保存下阿里云账号信息，包括企业别名、子用户名称、子用户密码、AK ID 和 AK Secret。点击前往控制台URL。

2) 进入登录页面，输入申请资源处提供的账号，@前为子用户名称，@后为企业别名

输入申请资源处提供的子用户密码

3) 进入管理控制台>大数据（数加）> DataWorks，选中对应项目，点击“进入工作区”

三、数据装载

3.1 上传数据-建表

这一部分实际上就是把前面讲到的源数据上传到数据仓库的ODS接口层。

步骤一、在MaxComputer系统上建立ODS层的实体。

1、在“临时查询”页面选择“新建节点”，ODPS SQL

在“文件名称”文本框给脚本命名，因为是建立ODS层，所以此处可命名为“ODS层SQL”。

这一步执行结束后，会创建 12 个表格！

2、打开附件《ODS层建表语句.txt》文档，把文档里的建表sql语句拷贝打开的窗口中。然后点击“运行”按钮。

3.2 上传数据-数据导入

步骤二、把数据导入建立的ODS层各实体。

1、点击“导入”按钮。

点选相应的源数据文件《01客户信息实体准实时ODS_CRM_CUST_INFO_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_CRM_CUST_INFO_201710。之后点击“导入”按钮。

点选相应的源数据文件《02商户信息实体ODS_RES_SHOP_INFO_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_RES_SHOP_INFO_201710。之后点击“导入”按钮。

相应的源数据文件《03套餐信息实体ODS_RES_PACKAGE_INFO_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_RES_PACKAGE_INFO_201710。之后点击“导入”按钮。

点选相应的源数据文件《04食品信息实体ODS_RES_FOOD_INFO_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_RES_FOOD_INFO_201710。之后点击“导入”按钮。

点选相应的源数据文件《05配送员信息ODS_RES_CARRIER_INFO_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_RES_CARRIER_INFO_201710。之后点击“导入”按钮。

点选相应的源数据文件《06套餐食品对应关系ODS_RES_PACKAGE_FOOD_YYYYMM.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_RES_PACKAGE_FOOD_201710。之后点击“导入”按钮

点选相应的源数据文件《07客户订单ODS_OMS_ORDER_INFO_YYYYMMDDHH_0112.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_ORDER_INFO_2017100112。之后点击“导入”按钮。

点选相应的源数据文件《07客户订单ODS_OMS_ORDER_INFO_YYYYMMDDHH_0113.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_ORDER_INFO_2017100113。之后点击“导入”按钮。

点选相应的源数据文件《08订单属性ODS_OMS_ORDER_ATTR_YYYYMMDD_1001.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_ORDER_ATTR_20171001。之后点击“导入”按钮。

点选相应的源数据文件《09配送订单ODS_OMS_EXPRESS_ORDER_YYYYMMDD_1001.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_EXPRESS_ORDER_20171001。之后点击“导入”按钮。

点选相应的源数据文件《10配送员实时状态ODS_OMS_CARRIER_STATE_YYYYMMDDHH_0112.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_CARRIER_STATE_2017100112。之后点击“导入”按钮。

点选相应的源数据文件《10配送员实时状态ODS_OMS_CARRIER_STATE_YYYYMMDDHH_0113.csv》，然后点击“打开”按钮。

点击“下一步”进入下一个界面。在“导入至表”文本框中填入文件对应的表名：ODS_OMS_CARRIER_STATE_2017100113。之后点击“导入”按钮。

导入后的样子：

四、数据分析

4.1 建立DW层和ST模型

在MaxComputer系统上建立DW层和ST模型实体。

4.1.1 建立DW层模型实体

点击“临时查询”-->“新建节点→ODPS SQL”按钮。在“文件名称”文本框里输入脚本文件的名称。因为这部分是建立dw层实体，因此这里起名为DW层sql。然后点击提交。

打开附件《DW层建表语句.txt》文档，把文档里的建表sql语句拷贝打开的窗口中。然后点击“运行”按钮。生成DW层实体。

这一步是打算创建 4 个用来放置中间结果的表，这一步执行后，一共有 16 张表

4.1.2 建立ST层模型实体。

点击“临时查询”-->“新建节点→ODPS SQL”按钮。在“文件名称”文本框里输入脚本文件的名称。因为这部分是建立st层实体，因此这里起名为ST层建表语句。然后点击提交。

跟前面提到的建DW层实体一样。打开附件《ST层建表语句.txt》文档，把文档里的建表sql语句拷贝打开的窗口中。然后点击“运行”按钮。生成ST层实体。

再创建 3 个在 ST 层用的表。

4.1.3 到目前为止，是在做的数据表的创建和数据的导入的操作

目前一共有 19 张表。

4.2 小时汇总，进行 DW 层小时数据汇总

在MaxComputer系统上建立任务给DW层和ST层进行数据汇总。

首先，点击界面左上角的“数据开发”按钮。然后，点击“业务流程→新建业务流程”按钮。建立 数据分析流程，然后新建一个用于处理小时级数据汇总的sql任务。

1)创建虚拟节点

填写任务“名称”文本框。起名为“程序开始”。

双击该节点，在打开窗口中，找到右侧调度配置 --> 点击使用根节点

保存

这样我们就可以进入任务配置界面创建需要用到的节点。首先需要一个虚节点，虚拟节点属于控制类节点，它是不产生任何数据的空跑节点，常用于工作流的根节点。拖动虚节点到右侧开发区域即可。

2)创建数据节点

真正的数据处理逻辑存放在实际的数据节点上。在节点组件中，选择“ODPS_SQL”, 拖到右侧开发区域。然后把鼠标放在虚节点的底部正中间，当指针变成“+”时，按住鼠标左键拖动连线。

写上节点名称为“客户订单小时汇总”。这一步的作用是把客户订单汇总为日数据。点击“创建”按钮。

双击“客户订单小时汇总”这个数据节点。进入节点编辑界面。点击调度配置，会出现调度时间的配置界面。

加载参数：在参数设置页面。由于实验中准备的是2017年10月01日12时和2017年10月01日13时的数据。所以这里把参数设置为2017100112或2017100113。

把附件《01小时汇总语句.txt》中语句粘贴到编辑页面中。

从虚拟节点到数据节点点住鼠标拖拽一下画上依赖关系。

然后，点击“保存”和“提交”按钮。提交该“01小时汇总语句”任务。

注意： 勾选输入输出不能为空

提交的时候要注意选择：

在正式的运行之前，可以去看一眼，原来是不是有数据。

执行之后，

4.3 DW层日数据汇总

首先，新建一个用于处理日周期数据汇总的任务。

创建ODPS_SQL数据节点

双击SQL节点

查看 业务流程 -> 流程参数 页面。点击“参数配置页面”，由于是日调度程序，这里把时间参数设置到日级别。参数设置为${yyyymmdd}格式。由于准备的实验源数据是2017年10月01日的，所以此处填写“20171001”。

把附件《02日汇总语句.txt》中语句粘贴到编辑页面中。点击“保存”和“提交”按钮：

从虚拟节点到数据节点点住鼠标拖拽一下画上依赖关系。

点击“保存”和“提交”按钮。完成DW层日汇总程序任务的编写。

还是可以观察数据变化：

执行后：

4.4 DW层和ST层的月数据汇总

1)创建虚拟节点

月汇总程序相对较多，每个程序都会作为一个数据节点挂在月汇总程序虚拟节点下。

配置使用根节点

2)创建数据节点

这部分的第一个数据节点写上节点名称为“客户口味偏好”。这一步用来汇总各个客户的口味情况。

把附件《03月汇总语句.txt》中“--客户口味偏好”这部分语句粘贴到编辑页面中。点击“保存”按钮。

4.5 套餐打分实体的月数据汇总

套餐打分的计算模型如下：

此处计算MIN和MAX值的时候取的是单条数据，需要人为笛卡尔一下。所以此处的关联逻辑需要用到mapjoin。

首先，点击界面左上角的“业务流程”按钮。然后，点击“新建业务流程”按钮。新建一个用于处理月周期数据汇总的任务。填写以下内容后点击右下角的“创建”按钮。

1)新建虚拟节点

具体名称可按下图填写。

配置根节点

2)建立数据节点

数据节点写上节点名称整理为“套餐打分实体汇总程序”。这一步用来汇总套餐打分情况。

双击“套餐打分实体汇总程序”这个数据节点，进入编辑界面。

参数设置为${yyyymm}格式。把附件《04套餐打分汇总语句.txt》中的语句粘贴到编辑页面中。点击“保存”和“提交”按钮。然后再点击“运行”按钮，弹出参数配置页面。由于准备的实验源数据是2017年10月的，所以此处填写“201710”。之后点击“确认”按钮。把虚节点和数据节点依赖关系建立起来。

首先，点击界面左上角的“业务流程”按钮。然后，点击“新建业务流程”按钮。新建一个用于处理月周期数据汇总的任务。填写以下内容后点击右下角的“创建”按钮。

1)新建虚拟节点

具体名称可按下图填写。

配置根节点

2)建立数据节点

数据节点写上节点名称整理为“套餐配送时间段匹配汇总程序”。这一步用来实时监控配送冲突情况。

双击“套餐配送时间段匹配汇总程序”数据节点，进入编辑界面。

把附件《05套餐配送时间段匹配语句.txt》中的语句粘贴到编辑页面中。点击“保存”和“提交”按钮。然后再点击“运行”按钮，弹出参数配置页面。由于准备的实验源数据是2017年10月01日12时和2017年10月01日13时的，所以此处填写“2017100112”和“2017100113”。之后点击“确认”按钮。

<code>INSERT OVERWRITE TABLE ST_ORDER_EXPRESS PARTITION(oper_time = ${op_time})
SELECT  carrier_order_num
        ,carrier_num
        ,carrier_order_num-carrier_num
FROM    (
            SELECT  ${op_time} AS oper_time
                    ,COUNT(order_id) AS carrier_order_num
            FROM    ODS_OMS_ORDER_INFO_${op_time}
        ) a
LEFT JOIN (
              SELECT  ${op_time} AS oper_time
                      ,COUNT(carrier_id) AS carrier_num
              FROM    ODS_OMS_CARRIER_STATE_${op_time}
              WHERE   carrier_state = '待用'
          ) b
ON      a.oper_time = b.oper_time
;/<code>

返回后把虚节点和数据节点依赖关系拖拽建立起来。

至此，仓库层的数据准备完毕。

五、数据展现

5.1 添加数据源

本部分将数据处理的结果加载到Quick BI中进行可视化展现。

1） 进入管理控制台，在左侧菜单栏“大数据（数加）”中选择“Quick BI”组件。

2）添加数据源，选择“MaxCompute”,

输入实验时在MaxCompute 中创建的“项目名称”；access_id和access_key为开通资源时提供的密钥。

然后点击“连接测试”，测试数据源是否连通。再点击“添加”。

5.2 制作客户画像视图报表

之前我们已经学习了客户画像的知识。那么针对外卖订餐客户，我们可以使用报表来展现一些相关的画像指标。例如客户的口味偏好、食品偏好、下单时间段的偏好、配送时间段的偏好等。

先点“数据源”TAB页，双击界面左面的“外卖分析”。在图中标2的文本框中填写st_cust_draw进行查询。然后点击下图“创建数据集”按钮。

点击“表格分析”，制作客户画像报表。按下图把左边的相应字段插入右边分析面板。然后点击“添加条件”按钮。

按下图配置“cust_taste_like”字段不为空这个条件：

重复上图的操作方法。配置“order_time_like”和“order_in_time_like”字段都不为空。

然后点击“确认”按钮。可以看到如下条件显示。

点击下图中箭头指的“运行”按钮，按筛选条件生成报表。

结果如下图。

点击下图中的“保存”按钮，可以把生成的工作表保存下来。

5.3 制作套餐打分报表

课程中我们曾经提到过：对于外卖点餐业务来说，推出的套餐数量是非常庞大的。到底哪些套餐是最受用户欢迎的？哪些套餐是利润率最高的？可以通过制定一个套餐的打分标准，根据这个标准对套餐的基本情况进行展现，从而达到对优质套餐进行更多的推广，对得分较低的套餐进行改进的目的。

下面我们就来制作一张展现套餐得分的报表。可根据展现的套餐得分来评估推出的套餐。

按照下图创建“st_package_score”数据集。

点击“表格分析”按钮，进入表格分析界面。

把界面左下角的字段插入右上角分析列文本框中。然后点击“all_score”字段，对该字段进行筛选条件配置

配置筛选总分排名为TOP10的套餐。

条件配置完成后，点击“运行”按钮。

结果展现如下图：

然后来制作图表，展现总分排名在前20的套餐名称。

点击上图中的按钮，进入仪表板界面。

选择“package_id”维度和“all_score”指标。同时把“all_score”作为筛选条件加入过滤器中，点击过滤器图标。添加如下条件，点击“确定”。

点击上图中“更新”按钮。生成报表，点选“柱图”的图标，生成柱状展现图。

5.4 制作套餐配送时间段匹配报表

前面的课程中我们曾经提到了实时营销的场景。当外卖接单时，需要实时考虑当前的配送情况。需要根据配送能力来调整接单的数量。

因此，我们可制作一张实时待配送订单数量与配送员数量进行比较的报表。通过该报表中的数量对比展现目前配送能力是否能与订单数量相匹配。

选择“st_order_express”创建数据集。然后进入““st_order_express”数据集界面。

可以点击“刷新”按钮生成如下报表。

六、实验总结

本实验通过对MaxCompute和Quick BI产品的操作学习了数据仓库的设计、数据分析的基本方法、运用数据可视化进行分析结果的展现。整个实验分为数据上传、数据分析、数据展现三个部分，学员可参考本实验，结合企业自身业务和需求，将所学应用到实践中去。

基本要求：学习者应该能够掌握以下知识点

• 1-数据分析基础知识、应用场景、常用数据分析方法
• 2-能根据场景和需求，结合数据业务特点搭建企业大数据分析系统
• 3-了解MaxCompute的工作原理，具备将海量数据应用到数据分析中的能力。
• 4-了解使用Quick BI进行数据可视化展现的流程和步骤。

进阶目标：学习者通过后续的自学，可以掌握：

• 1- 应用各种算法代替sql实现数据分析的需求；
• 2- 能够根据企业的需求，灵活搭建完整的数据分析系统；

其他学习材料：

阿里云官网MaxCompute、Quick BI、算法官方文档。

七、课后任务

1、请详细阅读实验手册，回顾一下数据仓库三层结构的划分，甄别小时汇总、日汇总和月汇总的使用场景。

2、本实验中用到了/*+ MAPJOIN(v) */关联法，请大家了解使用这种关联的特定环境。

3、该公司还有很多需求，请协助完成以下两个。

任务一、

在刚才的实验中已经汇总出客户画像信息实体。其中已经统计出每个客户的下单时间段偏好。

请对客户偏好下单的时间段做降序排列，展现在Quick BI中。从而对该公司针对下单热门时间段做更好的人员配置。

任务二、

在之前的实验中我们通过使用比高法计算了套餐的得分，从而评定出较受欢迎的套餐。

本次任务中请仍然用比高法来计算外卖食品的得分，从而评定出外卖食品中哪些较受欢迎。

通过此练习，可以了解一下权重的使用方法，可以学习MAPJOIN的使用特性。

閱讀更多 星知數據 的文章

關鍵字: 阿里云计算 小编 数据库