关于"两种新的决策表属性约简概念"的注记

出于应用目的,许多学者提出了各种不同的属性约简概念.蒋思宇等在分析了基于正区域的属性约简和基于信息熵属性约简概念的差别后,提出了两种新的属性约简概念.通过实例分析,指出两种新的属性约简概念的不足,其根源是度量平均决策强度和决策熵的两个公式不具有单调性.根据原作者的出发点,给出了度量决策强度和决策熵的两个新公式,分别证明了这两个公式都具有单调性,并由此给出了基于决策强度和决策熵的属性约简概念.     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

两种新的决策表属性约简概念

经典粗糙集理论属性约简的两种定义在对不相容决策表约简时会出现不一致性，本文通过分析这种不一致性，提出了平均决策强度和决策熵的概念，并由此给出了两种新的属性约简定义．通过理论分析和实例验证，用这两种新的属性约简定义对不相容决策表约简的结果是一致的，并且该约简结果更能客观地反映决策表的“决策能力”的实质．     

一种粗糙集属性约简算法

基于粗糙集理论提出一种新的属性重要度的度量方法,引入决策强度的概念,克服经典粗糙集理论约简定义的不完备性及无法获得最优属性约简的缺陷,改进基于信息熵的启发式属性约简算法,通过对既有线CTCS-2级车站列控中心软件测试平台的测试数据的实证分析,成功获得最优属性约简,发现数据之间的潜在联系及规律,给出决策规则,使决策分析更为高效。     

决策域分布保持的启发式属性约简方法

在决策粗糙集中,由于引入了概率阈值,属性增加或减少时,正域或者非负域有可能变大、变小或者不变,即属性的增减与决策域（正域或非负域）之间不再具有单调性.分析结果表明,现有的基于整个决策域的属性约简定义可能会改变决策域.为使决策域保持不变,引入了正域分布保持约简与非负域分布保持约简的概念.此外,决策域的非单调性使得属性约简算法必须检查一个属性集合的所有子集.为了简化算法设计,提出了正域和非负域分布条件信息量的定义,并证明其满足单调性,从而为设计决策域分布保持约简的启发式计算方法提供了理论基础.为了进一步获得最小约简,提出一种基于遗传算法的决策域分布保持启发式约简算法,并在两种单调的决策域分布条件信息量基础上构造了新算子,即修正算子,确保遗传算法找到的是约简而不是约简的超集.对比实验从分类正确率与误分类代价两个方面都反映了决策域分布保持约简定义的合理性,并且,所提出的遗传算法在大多数情况下都找到了最小约简.     

基于邻域粗糙互信息熵的非单调性属性约简

属性约简是粗糙集理论一项重要的应用,目前已广泛运用于机器学习和数据挖掘等领域,邻域粗糙集是粗糙集理论中处理连续型数据的一种重要方法.针对目前邻域粗糙集模型中属性约简存在的缺陷,构造一种基于邻域粗糙集的邻域粗糙熵模型,并基于此给出邻域粗糙联合熵、邻域粗糙条件熵和邻域粗糙互信息熵等概念.邻域粗糙互信息熵是评估属性集相关性的一种重要的方法,具有非单调性变化的特性,对此,提出一种基于邻域粗糙互信息熵的非单调性属性约简算法.实验分析表明,所提出算法不仅比目前已有的单调性属性约简算法具有更优越的属性约简结果,而且具有更高的约简效率.     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

基于Pawlak的决策粗糙集的属性约简研究

粗糙集用于规则归纳时,其正域规则和边界规则这两种不同的分类规则会导致不同的决策序列。这两种分类规则都能够从语法和语义上进行区分,并被Pawlak模型所延伸的粗糙集理论所解释。属性约简是粗糙集理论的一个重要概念,本文针对决策粗糙集中的决策单调性这个分类属性,给出属性约简中基于正域约简模型及其分析。     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.     

一种基于粗糙熵的信息系统属性约简算法

在信息系统中,研究了知识的粗糙性,定义了一种粗糙熵度量方法,并证明了知识的粗糙熵随着划分的增大而单调增加的结论,给出了属性的重要性度量方法,在此基础上提出了一种基于粗糙熵的启发式属性约简算法。实例验证表明,该算法能有效地从信息系统中获取最优属性约简。     

基于决策熵的决策树规则提取方法

在决策表中,决策规则的可信度和对象覆盖度是衡量决策能力的重要指标。以知识粗糙熵为基础,提出决策熵的概念,并定义其属性重要性;然后以条件属性子集的决策熵来度量其对决策分类的重要性,自顶向下递归构造决策树;最后遍历决策树,简化所获得的决策规则。该方法的优点在于构造决策树及提取规则前不进行属性约简,计算直观,时间复杂度较低。实例分析的结果表明,该方法能获得更为简化有效的决策规则。     

Approaches to knowledge reduction of covering decision systems based on information theory

In this paper, we propose some new approaches for attribute reduction in covering decision systems from the viewpoint of information theory. Firstly, we introduce information entropy and conditional entropy of the covering and define attribute reduction by means of conditional entropy in consistent covering decision systems. Secondly, in inconsistent covering decision systems, the limitary conditional entropy of the covering is proposed and attribute reductions are defined. And finally, by the significance of the covering, some algorithms are designed to compute all the reducts of consistent and inconsistent covering decision systems. We prove that their computational complexity are polynomial. Numerical tests show that the proposed attribute reductions accomplish better classification performance than those of traditional rough sets. In addition, in traditional rough set theory, MIBARK-algorithm [G.Y. Wang, H. Hu, D. Yang, Decision table reduction based on conditional information entropy, Chinese J. Comput., 25 (2002) 1-8] cannot ensure the reduct is the minimal attribute subset which keeps the decision rule invariant in inconsistent decision systems. Here, we solve this problem in inconsistent covering decision systems.     

基于新的条件熵的决策树规则提取方法

分析了知识约简过程中现有信息熵反映决策表“决策能力”的局限性，定义了一种新的条件熵，以弥补现有信息熵的不足；然后对传统启发式方法中选择属性的标准进行改进，由此给出了新的属性重要性定义；以新的属性重要性为启发式信息设计决策树规则提取方法。该方法的优点在于构造决策树及提取决策规则前不进行属性约简，计算直观，时间复杂度较低。应用实例分析的结果表明，该方法能提取更为简洁有效的决策规则。     

基于相对决策嫡的决策树算法及其在入侵检测中的应用

为了弥补传统决策树算法的不足,提出一种基于相对决策熵的决策树算法DTRDE。首先,将Shannon提出的信息熵引入到粗糙集理论中,定义一个相对决策熵的概念,并利用相对决策熵来度量属性的重要性;其次,在算法DTRDE中,采用基于相对决策熵的属性重要性以及粗糙集中的属性依赖性来选择分离属性,并且利用粗糙集中的属性约简技术来删除冗余的属性,旨在降低算法的计算复杂性;最后,将该算法应用于网络入侵检测。在KDD Cup99数据集上的实验表明,DTRDE算法比传统的基于信息熵的算法具有更高的检测率,而其计算开销则与传统方法接近。     

基于改进模糊熵和证据推理的多属性决策方法

针对证据推理方法框架下属性权重难以获取的问题,提出一种基于改进模糊熵和证据推理的多属性决策方法。首先,定义证据推理信度决策矩阵框架下的三角函数模糊熵公式,并证明了其满足熵的四个公理化定义。其次,所提方法能够同时处理属性权重完全未知和属性权重信息部分已知两种情况：当属性权重完全未知时,基于信度框架下的改进模糊熵和熵权法的基本思想计算属性权重;当属性权重信息部分已知时,定义加权模糊熵,建立期望模糊熵最小的线性规划模型求解最优属性权重。最后,利用证据推理算法融合方案属性值,结合期望效用理论得到方案排序结果。通过实例计算,并与传统模糊熵计算方法进行比较分析,验证了所提方法能够更加充分地反映原始决策信息,更具客观性和一般性。     

一种基于新的条件信息熵的高效知识约简算法

分析了在知识约简过程中现有条件信息熵的不足,给出一种新的条件信息熵,由此定义新的属性重要性.将其与基于正区域和基于现有条件信息熵的属性重要性进行比较,结果表明新的属性重要性是一种更准确、更全面的启发信息.以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的高效算法.理论分析和实验结果表明,与基于现有条件信息熵的约简算法相比,该约简算法时间复杂度较低,且在搜索最小或次优约简方面更优.