今天来了个急活，有个招标文件，关于数据清洗相关的技术，都没有搞过，只能先从网上整理找一些，先整理这些，供参考，都来源于网络。
数据清洗技术研究
1. 数据清洗的作用性
数据清洗工作是数据分析工作中不可缺少的步骤，这是因为数据清洗能够处理掉肮脏数据，如果不清洗数据的话，那么数据分析的结果准确率会变得极低。另外数据清洗工作占据数据分析工作整个过程的七成以上的时间，所以说我们要格外的重视数据清洗工作。
2. 数据清理的流程
2.1. 预处理阶段
预处理阶段主要做两件事情：
一是将数据导入处理工具。
通常来说，建议使用数据库，单机跑数搭建MySQL环境即可。如果数据量大（千万级以上），可以使用文本文件存储+Python操作的方式。
二是看数据。
这里包含两个部分：一是看元数据，包括字段解释、数据来源、代码表等等一切描述数据的信息；二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备。
2.2. 第一步：缺失值清洗
缺失值是最常见的数据问题，处理缺失值也有很多方法，我建议按照以下四个步骤进行：
1、确定缺失值范围：
对每个字段都计算其缺失值比例，然后按照缺失比例和字段重要性，分别制定策略，可用下图表示：
2、去除不需要的字段：
这一步很简单，直接删掉即可……但强烈建议清洗每做一步都备份一下，或者在小规模数据上试验成功再处理全量数据，不然删错了会追悔莫及（多说一句，写SQL的时候delete一定要配where！）。
3、填充缺失内容：
某些缺失值可以进行填充，方法有以下三种：
以业务知识或经验推测填充缺失值
以同一指标的计算结果（均值、中位数、众数等）填充缺失值
以不同指标的计算结果填充缺失值
前两种方法比较好理解。关于第三种方法，举个最简单的例子：年龄字段缺失，但是有屏蔽后六位的身份证号，so……
4、重新取数：如果某些指标非常重要又缺失率高，那就需要和取数人员或业务人员了解，是否有其他渠道可以取到相关数据。
以上，简单的梳理了缺失值清洗的步骤，但其中有一些内容远比我说的复杂，比如填充缺失值。很多讲统计方法或统计工具的书籍会提到相关方法，有兴趣的各位可以自行深入了解。
2.3. 第二步：格式内容清洗
如果数据是由系统日志而来，那么通常在格式和内容方面，会与元数据的描述一致。而如果数据是由人工收集或用户填写而来，则有很大可能性在格式和内容上存在一些问题，简单来说，格式内容问题有以下几类：
1、时间、日期、数值、全半角等显示格式不一致
这种问题通常与输入端有关，在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可。
2、内容中有不该存在的字符
某些内容可能只包括一部分字符，比如身份证号是数字+字母，中国人姓名是汉字（赵C这种情况还是少数）。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符。
3、内容与该字段应有内容不符
姓名写了性别，身份证号写了手机号等等，均属这种问题。 但该问题特殊性在于：并不能简单的以删除来处理，因为成因有可能是人工填写错误，也有可能是前端没有校验，还有可能是导入数据时部分或全部存在列没有对齐的问题，因此要详细识别问题类型。
格式内容问题是比较细节的问题，但很多分析失误都是栽在这个坑上，比如跨表关联或VLOOKUP失败（多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人）、统计值不全（数字里掺个字母当然求和时结果有问题）、模型输出失败或效果不好（数据对错列了，把日期和年龄混了，so……）。因此，请各位务必注意这部分清洗工作，尤其是在处理的数据是人工收集而来，或者你确定产品前端校验设计不太好的时候……
2.4. 第三步：逻辑错误清洗
这部分的工作是去掉一些使用简单逻辑推理就可以直接发现问题的数据，防止分析结果走偏。主要包含以下几个步骤：
1、去重
有的分析师喜欢把去重放在第一步，但我强烈建议把去重放在格式内容清洗之后，原因已经说过了（多个空格导致工具认为“陈丹奕”和“陈 丹奕”不是一个人，去重失败）。而且，并不是所有的重复都能这么简单的去掉
我曾经做过电话销售相关的数据分析，发现销售们为了抢单简直无所不用其极……举例，一家公司叫做“ABC管家有限公司“，在销售A手里，然后销售B为了抢这个客户，在系统里录入一个”ABC官家有限公司“。你看，不仔细看你都看不出两者的区别，而且就算看出来了，你能保证没有”ABC官家有限公司“这种东西的存在么……这种时候，要么去抱RD大腿要求人家给你写模糊匹配算法，要么肉眼看吧。
上边这个还不是最狠的，请看下图：
你用的系统里很有可能两条路都叫八里庄路，敢直接去重不？（附送去重小tips：两个八里庄路的门牌号范围不一样）
当然，如果数据不是人工录入的，那么简单去重即可。
2、去除不合理值
一句话就能说清楚：有人填表时候瞎填，年龄200岁，年收入100000万（估计是没看见”万“字），这种的就要么删掉，要么按缺失值处理。这种值如何发现？提示：可用但不限于箱形图（Box-plot）.
3、修正矛盾内容
有些字段是可以互相验证的，举例：身份证号是1101031980XXXXXXXX，然后年龄填18岁，我们虽然理解人家永远18岁的想法，但得知真实年龄可以给用户提供更好的服务啊（又瞎扯……）。在这种时候，需要根据字段的数据来源，来判定哪个字段提供的信息更为可靠，去除或重构不可靠的字段。
逻辑错误除了以上列举的情况，还有很多未列举的情况，在实际操作中要酌情处理。另外，这一步骤在之后的数据分析建模过程中有可能重复，因为即使问题很简单，也并非所有问题都能够一次找出，我们能做的是使用工具和方法，尽量减少问题出现的可能性，使分析过程更为高效。
2.5. 第四步：非需求数据清洗
这一步说起来非常简单：把不要的字段删了。
但实际操作起来，有很多问题，例如：
把看上去不需要但实际上对业务很重要的字段删了；
某个字段觉得有用，但又没想好怎么用，不知道是否该删；
一时看走眼，删错字段了。
前两种情况我给的建议是：如果数据量没有大到不删字段就没办法处理的程度，那么能不删的字段尽量不删。第三种情况，请勤备份数据……
2.6. 第五步：关联性验证
如果你的数据有多个来源，那么有必要进行关联性验证。例如，你有汽车的线下购买信息，也有电话客服问卷信息，两者通过姓名和手机号关联，那么要看一下，同一个人线下登记的车辆信息和线上问卷问出来的车辆信息是不是同一辆，如果不是（别笑，业务流程设计不好是有可能出现这种问题的！），那么需要调整或去除数据。
严格意义上来说，这已经脱离数据清洗的范畴了，而且关联数据变动在数据库模型中就应该涉及。但我还是希望提醒大家，多个来源的数据整合是非常复杂的工作，一定要注意数据之间的关联性，尽量在分析过程中不要出现数据之间互相矛盾，而你却毫无察觉的情况。
3. 数据清洗的方法
生产业务数据常常是不完全的、有噪声的、不一致的。数据清洗过程包括遗漏数据处理，噪声数据处理，以及不一致数据处理。
3.1. 遗漏数据处理
假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，则对于为空的属性值，可以采用以下方法进行遗漏数据处理。
3.1.1. 忽略该条记录
若一条记录中有属性值被遗漏了，则将此条记录排除，尤其是没有类别属性值而又要进行分类数据挖掘时。
当然，这种方法并不很有效，尤其是在每个属性的遗漏值的记录比例相差较大时。
3.1.2. 手工填补遗漏值
一般这种方法比较耗时，而且对于存在许多遗漏情况的大规模数据集而言，显然可行性较差。
3.1.3. 利用默认值填补遗漏值
对一个属性的所有遗漏的值均利用一个事先确定好的值来填补，如都用“OK”来填补。但当一个属性的遗漏值较多时，若采用这种方法，就可能误导挖掘进程。
因此这种方法虽然简单，但并不推荐使用，或使用时需要仔细分析填补后的情况，以尽量避免对最终挖掘结果产生较大误差。
3.1.4. 利用均值填补遗漏值
计算一个属性值的平均值，并用此值填补该属性所有遗漏的值。例如，若顾客的平均收入为 10000 元，则用此值填补“顾客收入”属性中所有被遗漏的值。
3.1.5. 利用同类别均值填补遗漏值
这种方法尤其适合在进行分类挖掘时使用。
例如，若要对商场顾客按信用风险进行分类挖掘时，就可以用在同一信用风险类别（如良好）下的“顾客收入”属性的平均值，来填补所有在同一信用风险类别下“顾客收入”属性的遗漏值。
3.1.6. 利用最可能的值填补遗漏值
可以利用回归分析、贝叶斯计算公式或决策树推断出该条记录特定属性的最大可能的取值。
例如，利用数据集中其他顾客的属性值，可以构造一个决策树来预测“顾客收入”属性的遗漏值。
最后一种方法是一种较常用的方法，与其他方法相比，它最大程度地利用了当前数据所包含的信息来帮助预测所遗漏的数据。
3.2. 噪声数据处理
噪声是指被测变量的一个随机错误和变化。下面通过给定一个数值型属性（如价格）来说明平滑去噪的具体方法。
3.2.1. Bin 方法
Bin 方法通过利用应被平滑数据点的周围点（近邻），对一组排序数据进行平滑。排序后的数据被分配到若干桶（称为 Bins）中。
如图 1 所示，对 Bin 的划分方法一般有两种，一种是等高方法，即每个 Bin 中的元素的个数相等，另一种是等宽方法，即每个 Bin 的取值间距（左右边界之差）相同。
图 1 两种典型 Bin 划分方法
图 2 描述了一些 Bin 方法技术。首先，对价格数据进行排序，然后，将其划分为若干等高度的 Bin，即每个 Bin 包含 3 个数值，最后，既可以利用每个 Bin 的均值进行平滑，也可以利用每个 Bin 的边界进行平滑。
利用均值进行平滑时，第一个 Bin 中 4、8、15 均用该 Bin 的均值替换，利用边界进行平滑时，对于给定的 Bin，其最大值与最小值就构成了该 Bin 的边界，利用每个 Bin 的边界值（最大值或最小值）可替换该 Bin 中的所有值。
一般来说，每个 Bin 的宽度越宽，其平滑效果越明显。
图 2 利用 Bin 方法平滑去噪
3.2.2. 聚类分析方法
通过聚类分析方法可帮助发现异常数据。相似或相邻近的数据聚合在一起形成了各个聚类集合，而那些位于这些聚类集合之外的数据对象，自然而然就被认为是异常数据。
如图 3 所示。聚类分析方法的具体内容将在本章教程大数据挖掘中详细介绍。
图 3 基于聚类分析方法的异常数据监测
3.2.3. 人机结合检查方法
通过人机结合检查方法，可以帮助发现异常数据。
例如，利用基于信息论的方法可帮助识别手写符号库中的异常模式，所识别出的异常模式可输出到一个列表中，然后由人对这一列表中的各异常模式进行检查，并最终确认无用的模式（真正异常的模式）。
这种人机结合检查方法比手工方法的手写符号库检查效率要高许多。
3.2.4. 回归方法
可以利用拟合函数对数据进行平滑。
例如，借助线性回归方法，包括多变量回归方法，就可以获得多个变量之间的拟合关系，从而达到利用一个（或一组）变量值来预测另一个变量取值的目的。
利用回归分析方法所获得的拟合函数，能够帮助平滑数据及除去其中的噪声。
许多数据平滑方法，同时也是数据消减方法，例如，以上描述的 Bin 方法可以帮助消减一个属性中的不同取值，这也就意味着 Bin 方法可以作为基于逻辑挖掘方法的数据消减处理方法。
3.3. 不一致数据处理
现实世界的数据库常岀现数据记录内容不一致的问题，其中的一些数据可以利用它们与外部的关联，手工解决这种问题。
例如，数据录入错误一般可以通过与原稿进行对比来加以纠正。 此外还有一些方法可以帮助纠正使用编码时所发生的不一致问题。知识工程工具也可以帮助发 现违反数据约束条件的情况。
由于同一属性在不同数据库中的取名不规范，常常使得在进行数据集成时，导致不一致情况的发生。
4. 数据清洗规则
一、 规则总览
数据清洗针对的对象主要有四个——缺失值、异常值、重复值和无用值，针对不同对象的不同形式，采取相应的方法进行处理，从而得到期望的数据。
1.1 非空校核
要求字段为非空的情况下，对该字段数据进行校核。如果数据为空，需要进行相应处理。
1.2 重复校核
多个业务系统中同类数据经过清洗后，在统一保存时，为保证主键唯一性，需进行校核工作。
1.3 异常值校核
包括取值错误、格式错误、逻辑错误、数据不一致等，需根据具体情况进行校核及修正。
1.4 无用值校核
目前业务中不需要使用到的、无价值的数据字段，需要进行校核及去除。
二、 具体规则
2.1缺失值清洗
2.1.1确定缺失值范围：按照缺失比例和字段重要性，分别制定策略：
(a) 重要性高，缺失率低：通过计算进行填充；通过经验或业务知识估计；
(b) 重要性高，缺失率高：尝试从其他渠道取数补全；使用其他字段通过计算获取；
© 重要性低，缺失率低：不做处理或简单填充；
(d) 重要性低，缺失率高：去掉该字段。
2.1.2填充缺失内容，某些缺失值可以进行填充，方法有以下三种：
(a) 以业务知识或经验推测填充缺失值；
(b) 从其他业务系统数据中取数补全；
© 以同一指标的计算结果(均值、中位数、众数等)填充缺失值；
(d) 以不同指标的计算结果填充缺失值。
2.2重复值清洗
重复数据可以进行去重或者进行标记。
2.3 异常值清洗
2.3.1 取值错误清洗：
(a) 范围错误：可以通过添加约束的方式过滤掉指定字段数值超出范围的数据。
(b) 位数错误：可以通过其他业务系统数据进行更改。
2.3.2 格式错误清洗：格式内容问题主要有以下几类：
(a) 时间、日期、数值、全半角等显示格式不一致：在整合多来源数据时也有可能遇到，将其处理成一致的某种格式即可；
(b) 内容中有不该存在的字符：某些内容可能只包括一部分字符，比如身份证号是数字+字母，中国人姓名是汉字。最典型的就是头、尾、中间的空格，也可能出现姓名中存在数字符号、身份证号中出现汉字等问题。这种情况下，需要以半自动校验半人工方式来找出可能存在的问题，并去除不需要的字符；
© 内容与该字段应有内容不符：某些字段内容应该是数值，而实际数据中字段的内容却是字符串。这种情况可以采用类型转换来处理。
2.3.3逻辑错误清洗，主要包含以下几个步骤：
(a) 去除/替换不合理值；
(b) 修正矛盾内容。
2.4.无用数据清洗
无用数据字段可以直接进行删除。但在进行该过程的时候，要注意备份原始数据。
閱讀更多 IT人的一天 的文章
