基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。     

基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。     

基于新的条件熵的决策表约简方法

分析了在知识约简过程中现有条件熵的不足,在一致和不一致对象分开的基础上,定义了一种新的条件熵概念,以弥补现有信息熵的不足,在此基础上给出了以不等式为条件的约简判定定理;然后以条件属性子集的条件熵来度量其对决策分类的重要性,提出了一种新的知识约简启发式方法.应用实例分析的结果表明,基于新的条件熵的属性重要性是一种更准确、更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优知识约简.     

一种基于新的条件信息熵的高效知识约简算法

分析了在知识约简过程中现有条件信息熵的不足,给出一种新的条件信息熵,由此定义新的属性重要性.将其与基于正区域和基于现有条件信息熵的属性重要性进行比较,结果表明新的属性重要性是一种更准确、更全面的启发信息.以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的高效算法.理论分析和实验结果表明,与基于现有条件信息熵的约简算法相比,该约简算法时间复杂度较低,且在搜索最小或次优约简方面更优.     

一种基于信息熵的信息系统属性约简算法*

粗糙集中找到最小属性约简是一个NP-hard问题,本文根据知识信息熵的定义和性质,定义属性重要性,分析其性质,得出核的求法,给出约简的判定定理,提出了一种基于信息熵的属性约简算法。该算法采用启发式搜索法,先计算属性重要性,求得核,再以核为起点,以属性重要性大小为启发式信息,选择属性,求得最小约简。理论分析和实际计算表明,该算法简明有效。     

一种基于差别矩阵的启发式属性约简算法

为了获得决策系统中更好的相对属性约简,本文提出了一种基于差别矩阵的启发式属性约简算法。该算法以求差别矩阵为基础,不仅考虑了所选择条件属性与决策属性的互信 息,还考虑了其取值的分布情况,从信息论角度定义了一种新的属性重要性度量方法,将其作为启发式信息,最终求得属性约简集。实例表明,算法能够有效地对决策系统进进行约简,获得比较理想的约简结果,同时约简后的决策规则数目较少。     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.     

一种基于Rough集理论的属性约简启发式算法

属性约简是知识发现中的关键问题之一．为了能够有效地获取决策表中属性的最小相对约简，在Rough集理论的基础上构造了一个新的算子，将信息论角度定义的属性的重要性作为启发式信息，来描述在决策表中条件属性所提供的知识对决策属性的影响；并采用宽度优先搜索策略，提出了一种新的属性约简启发式算法．以原始条件属性集为起点并结合算子，通过向属性核的递减式逼近，得到属性的最小相对约简．实例分析表明，该算法能有效地对决策表属性进行约简．     

基于粗糙集理论的客户关系管理

粗糙集理论是一种新型的数据挖掘和决策分析方法,利用粗糙集理论进行决策表的知识约简与决策规则挖掘已经成为研究热点。本文介绍了粗糙集的基本理论,通过决策属性支持度定义的条件属性对决策属性重要性的启发式信息,求取决策表的最小约简。并将该方法用于对企业客户进行分类,为客户关系管理的决策支持提供了新的解决方法。     

基于Rough集的启发式约简中启发式规则比较研究

采用属性的重要性作为启发式属性约简规则比较普遍。选择几种研究较多的属性重要性启发式规则,如属性依赖度、区分矩阵频率、信息熵等,进行简要介绍。通过编程实现规则和算法、采用经典数据集的运算比较作了汇总,从运算结果分析中获取了不同启发式规则对属性约简影响的几个基本结论。     

Conditional entropy for incomplete decision systems and its application in data mining

Rough set theory is a useful mathematic tool for dealing with vague and uncertain information. Shannon's entropy and its variants have been applied to measure uncertainty in rough set theory from the viewpoint of information theory. However, few studies have been carried out on information-theoretical measure of attribute importance in incomplete decision system (IDS) considering the relation between decision attribute and condition attributes. In this paper, we introduce the concept of conditional entropy together with entropy and joint entropy in IDSs. By using the new conditional entropy, we propose a measure for attribute importance. Based on the measure, a heuristic attribute reduction algorithm is presented. Some test experiments on real-lift data-sets show the effectiveness of the algorithm. The attribute importance measure and the attribute reduction algorithm can be used in data mining or machine learning for handling incomplete data.     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

关于决策表约简的CEBARKNC算法改进

CEBARKNC算法是基于条件信息熵的决策表约简算法，但是该算法对于某些决策表的约简是不完全的。通过对CEBARKNC算法的分析，找出该算法的约简不完全的原因，并讨论了启发信息的构造，进而在此基础上提出了以粗糙集的代数理论为基础，以条件信息熵为属性约简的启发式信息的改进算法。     

基于扩展的信息熵的决策表属性约简算法

从一种扩展的信息观的角度出发，讨论了Rough集理论的信息论观点。提出了一种基于扩展的信息熵的决策表核属性计算算法．并设计了以属性重要性为启发信息的自下而上的决策表属性约简算法EIEAAR。同时针对不一致表，将属性对不相客对象的包含值作为第二标准选择属性以加快约简速度。EIEAAR算法能处理一致和不一致决策表，并将核属性计算和非核属性约简统一起来。最后，对算法进行复杂度分析并用实例验证算法的有效性。实验表明该算法能有效得到决策表的最小约简。     

区间值决策信息系统的启发式属性约简

区间值决策信息系统是单值信息系统的一种推广,借助于属性区间值的相似程度在区间值决策系统上引入α极大相容类的概念,定义了一种新的条件信息熵,提出了相对属性内(外)重要度的度量方法,进一步,给出基于α条件信息熵的启发式相对约简算法,通过实验验证了该算法的有效性。     

优势信息系统中的启发式属性约简算法

在优势信息系统中引入粒度熵概念,定义其相关的性质和定理,并以优势关系下的粒度熵为启发式信息,给出属性的重要性度量。在此基础上提出一种基于粒度熵的启发式属性约简算法,并分析该算法的时间复杂度。通过实例说明该算法的有效性,为进一步研究优势目标信息系统的规则提取提供理论基础。     

邻域互补信息度量及其启发式属性约简

信息熵体系是进行不确定刻画与近似推理的重要理论,已经被引入粗糙集进行数据分析与智能处理。经典的互补熵、互补条件熵和互补互信息能够刻画粗糙性与模糊性,该信息体系的拓展具有应用意义。本文基于邻域粗糙集,扩张构建邻域互补信息度量并研究其启发式属性约简。通过解析式模拟与信息粒替换,定义邻域互补熵、邻域互补条件熵和邻域互补互信息,得到系统方程、双界刻画和粒化非单调性;基于邻域互补互信息,提出非单调属性约简并设计启发式约简算法;采用决策表实例与UCI数据实验有效验证性质与算法。基于邻域扩张,相关信息度量与属性约简具有应用前景。