你务必要搞清楚的十大数据挖掘知识点

有哪些数据挖掘技术(方法)

数据挖掘常用的方法有:分类、聚类、回归分析、关联规则、神经网络、特征分析、偏差分析等。这些方法从不同的角度对数据进行挖掘。

(1)分类

分类的含义:就是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。分类是依靠给定的类别对对象进行划分的。

分类的目的(作用):其目的是通过分类模型,将数据库中的数据项映射到某个给定的类别中。

分类的应用:客户的分类、客户的属性和特征分析、客户满意度分析、客户的购买趋势预测、应用分类、趋势预测等。

主要的分类方法:决策树、KNN 法 (K-Nearest Neighbor)、SVM 法、VSM 法、Bayes 法、神经网络等。

分类算法的局限:分类作为一种监督学习方法,要求必须事先明确知道各个类别的信息,并且断言所有待分类项都有一个类别与之对应。但是很多时候上述条件得不到满足,尤其是在处理海量数据的时候,如果通过预处理使得数据满足分类算法的要求,则代价非常大,这时候可以考虑使用聚类算法。

(2)聚类

聚类的含义:聚类指事先并不知道任何样本的类别标号,按照对象的相似性和差异性,把一组对象划分成若干类,并且每个类里面对象之间的相似度较高,不同类里面对象之间相似度较低或差异明显。我们并不关心某一类是什么,我们需要实现的目标只是把相似的东西聚到一起,聚类是一种无监督学习。

聚类与分类的区别:聚类类似于分类,但是,与分类不同的是,聚类不依靠给定的类别对对象进行划分,而是根据数据的相似性和差异性将一组数据分为几个类别。

聚类的目的:聚类与分类的目的不同。聚类是要按照对象的相似性和差异性将对象进行分类,属于同一类别的数据间的相似性很大,但不同类别之间数据的相似性很小,跨类的数据关联性很低。组内的相似性越大,组间差别越大,聚类就越好。

聚类的方法(算法):主要的聚类算法可以划分为如下几类,划分方法、层次方法、基于密度的方法、基于网格的方法、基于模型的方法。每一类中都存在着得到广泛应用的算法, 划分方法中有 k-means 聚类算法、层次方法中有凝聚型层次聚类算法、基于模型方法中有神经网络聚类算法。

聚类的应用:它可以应用到客户群体的分类、客户背景分析、客户购买趋势预测、市场的细分等。

(3)回归分析

回归分析的含义:回归分析是一个统计预测模型,用以描述和评估因变量与一个或多个自变量之间的关系;反映的是事务数据库中属性值在时间上的特征,产生一个将数据项映射到一个实值预测变量的函数,发现变量或属性间的依赖关系。

回归分析的目的(作用):回归分析反映了数据库中数据的属性值在时间上的特征,通过函数表达数据映射的关系来发现属性值之间的依赖关系。

回归分析的应用:回归分析方法被广泛地用于解释市场占有率、销售额、品牌偏好及市场营销效果。它可以应用到市场营销的各个方面,如客户寻求、保持和预防客户流失活动、产品生命周期分析、销售趋势预测及有针对性的促销活动等。

回归分析的主要研究问题:数据序列的趋势特征、数据序列的预测、数据间的相关关系等。

(4)关联规则

关联规则的含义:关联规则是隐藏在数据项之间的关联或相互关系,即可以根据一个数据项的出现推导出其他数据项的出现。关联规则是描述数据库中数据项之间所存在的关系的规则。

关联规则的目的(作用):发现隐藏在数据间的关联或相互关系,从一件事情的发生,来推测另外一件事情的发生,从而更好地了解和掌握事物的发展规律等等。

关联规则的挖掘过程主要包括两个阶段:第一阶段为从海量原始数据中找出所有的高频项目组;第二阶段为从这些高频项目组产生关联规则。

关联规则的应用:关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求,各银行在自己的 ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。

(5)神经网络方法

神经网络作为一种先进的人工智能技术,因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的问题,以及那些以模糊、不完整、不严密的知识或数据为特征的问题,它的这一特点十分适合解决数据挖掘的问题。

典型的神经网络模型主要分为三大类:第一类是以用于分类预测和模式识别的前馈式神经网络模型,其主要代表为函数型网络、感知机。第二类是用于联想记忆和优化算法的反馈式神经网络模型,以Hopfield的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法,以ART模型为代表。虽然神经网络有多种模型及算法,但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则,而且人们很难理解网络的学习及决策过程。

(6)Web数据挖掘

Web数据挖掘的含义:web数据挖掘是一项综合性技术,指Web从文档结构和使用的集合C中发现隐含的模式P,如果将C看做是输入,P 看做是输出,那么Web 挖掘过程就可以看做是从输入到输出的一个映射过程。

Web数据挖掘的研究对象:是以半结构化和无结构文档为中心的Web,这些数据没有统一的模式,数据的内容和表示互相交织,数据内容基本上没有语义信息进行描述,仅仅依靠HTML语法对数据进行结构上的描述。当前越来越多的Web 数据都是以数据流的形式出现的,因此对Web 数据流挖掘就具有很重要的意义。

目前常用的Web数据挖掘算法:PageRank算法、HITS算法、LOGSOM 算法。这三种算法提到的用户都是笼统的用户,并没有区分用户的个体。

Web数据挖掘的应用:可以利用Web的海量数据进行分析,收集政治、经济、政策、科技、金融、各种市场、竞争对手、供求信息、客户等有关的信息,集中精力分析和处理那些对企业有重大或潜在重大影响的外部环境信息和内部经营信息,并根据分析结果找出企业管理过程中出现的各种问题和可能引起危机的先兆,对这些信息进行分析和处理,以便识别、分析、评价和管理危机。

目前Web 数据挖掘面临着一些问题:用户的分类问题、网站内容时效性问题,用户在页面停留时间问题,页面的链入与链出数问题等。

(7)特征分析

特征分析的含义:特征分析是从数据库中的一组数据中提取出关于这些数据的特征式,这些特征式表达了该数据集的总体特征。

特征分析的目的(作用):在于从海量数据中提取出有用信息,从而提高数据的使用效率。

特征分析的应用:如营销人员通过对客户流失因素的特征提取,可以得到导致客户流失的一系列原因和主要特征,利用这些特征可以有效地预防客户的流失。

(8)偏差分析

偏差分析的含义:偏差是数据集中的小比例对象。通常,偏差对象被称为离群点、例外、野点等。偏差分析就是发现与大部分其他对象不同的对象。

偏差分析的应用:在企业危机管理及其预警中,管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。而其成因源于不同的类、自然变异、数据测量或收集误差等。

什么叫“异常”

(1)Hawkins给出了异常的本质性的定义:异常是数据集中与众不同的数据,使人怀疑这些数据并非随机偏差,而是产生于完全不同的机制。

(2)聚类算法对异常的定义:异常是聚类嵌于其中的背景噪声。

(3)异常检测算法对异常的定义:异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。


分享到:


相關文章: