基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

基于信息熵的形式背景属性约简

属性重要度和属性约简都是形式概念分析研究中的关注重点.通过信息粒的角度,文中提出基于信息熵研究形式背景的属性约简的一些方法.首先,给出形式背景的信息熵、条件熵及互信息等定义,通过条件熵对协调的决策形式背景进行属性约简,得到形式背景的粒协调和熵协调是等价的.然后,在熵不协调的决策形式背景中定义有限信息熵、有限条件熵和有限互信息,利用有限条件熵对不协调的决策形式背景进行属性约简.最后,基于属性重要度分别设计熵协调和熵不协调的决策形式背景的属性约简算法,通过数值实验验证文中算法的有效性.     

一种基于信息熵加权的属性约简算法

针对现有邻域粗糙集模型中存在属性权重都相同,无法保证关键属性在属性约简时能够被保留的问题,提出了一种基于信息熵加权的属性约简算法。首先,采用了类间熵、类内熵策略,以最大化类间熵最小化类内熵为原则给属性赋予权重;其次,构造了基于加权邻域关系的加权邻域粗糙集模型;最后,基于依赖关系评估属性子集的重要性,从而实现属性约简。在基于UCI数据集上与其他三种属性约简算法进行对比实验,结果表明,该算法能够有效去除冗余,提高分类精度。     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

基于相对决策嫡的决策树算法及其在入侵检测中的应用

为了弥补传统决策树算法的不足,提出一种基于相对决策熵的决策树算法DTRDE。首先,将Shannon提出的信息熵引入到粗糙集理论中,定义一个相对决策熵的概念,并利用相对决策熵来度量属性的重要性;其次,在算法DTRDE中,采用基于相对决策熵的属性重要性以及粗糙集中的属性依赖性来选择分离属性,并且利用粗糙集中的属性约简技术来删除冗余的属性,旨在降低算法的计算复杂性;最后,将该算法应用于网络入侵检测。在KDD Cup99数据集上的实验表明,DTRDE算法比传统的基于信息熵的算法具有更高的检测率,而其计算开销则与传统方法接近。     

关于"两种新的决策表属性约简概念"的注记

出于应用目的,许多学者提出了各种不同的属性约简概念.蒋思宇等在分析了基于正区域的属性约简和基于信息熵属性约简概念的差别后,提出了两种新的属性约简概念.通过实例分析,指出两种新的属性约简概念的不足,其根源是度量平均决策强度和决策熵的两个公式不具有单调性.根据原作者的出发点,给出了度量决策强度和决策熵的两个新公式,分别证明了这两个公式都具有单调性,并由此给出了基于决策强度和决策熵的属性约简概念.     

关于“两种新的决策表属性约简概念”的注记

出于应用目的,许多学者提出了各种不同的属性约简概念.蒋思宇等在分析了基于正区域的属性约简和基于信息熵属性约简概念的差别后,提出了两种新的属性约简概念.通过实例分析,指出两种新的属性约简概念的不足,其根源是度量平均决策强度和决策熵的两个公式不具有单调性.根据原作者的出发点,给出了度量决策强度和决策熵的两个新公式,分别证明了这两个公式都具有单调性,并由此给出了基于决策强度和决策熵的属性约简概念.     

一种基于新的条件信息熵的高效知识约简算法

分析了在知识约简过程中现有条件信息熵的不足,给出一种新的条件信息熵,由此定义新的属性重要性.将其与基于正区域和基于现有条件信息熵的属性重要性进行比较,结果表明新的属性重要性是一种更准确、更全面的启发信息.以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的高效算法.理论分析和实验结果表明,与基于现有条件信息熵的约简算法相比,该约简算法时间复杂度较低,且在搜索最小或次优约简方面更优.     

多粒度决策形式背景的属性约简

针对现有的决策形式背景属性约简方法不能处理多粒度数据的问题,文中提出3种多粒度决策形式背景的属性约简方法,目的是通过删除每个协调粒度层下相同类别的类属性块,实现信息系统的属性约简.首先从信息粒的角度出发,在多粒度决策形式背景中引入协调粒度层的信息熵及条件信息熵,利用它们进一步度量属性重要度.然后,在多粒度决策形式背景中基于平均条件信息熵、最粗协调决策形式背景条件信息熵及最细协调决策形式背景条件信息熵,提出协调粒度约简方法、最粗协调粒度约简方法、最细协调粒度约简方法及其实现算法.最后,通过实验验证文中提出的3种属性约简方法的有效性,对比这3种方法得到的属性约简集,发现协调粒度约简方法的约束条件较严,相比之下,最粗协调粒度约简方法和最细协调粒度约简方法约束条件相对宽松.     

改进的差别矩阵启发式属性约简算法

为在决策表中获得更好的属性约简组合,从信息论角度分析,在基于区分矩阵的基础上,提出一种改进的以条件熵作启发信息的约简算法。同时考虑条件属性相对于决策属性的条件信息熵以及属性值的分布情况,用它们的比作为启发因子,重新给出一种度量属性重要度的依据,得到属性约简集。实验结果表明,该算法能够有效约简属性集,使约简结果获得最简决策规则组合。     

应用近似模糊熵的不完备信息系统属性约简

属性约简是Rough集理论的重要研究内容,基于信息熵的属性约简是一种有效的属性约简方法。在实际应用中,获取的信息系统通常是不完备的。针对这种问题,在容差关系下对个体进行分类时,基于属性子集redu与CAttr(属性全集)-redu之间的内在联系,定义了一种新的知识熵,提出了一种新的应用近似模糊熵的不完备信息系统属性约简算法(newS算法),其时间复杂度是O(｜C｜²∑mi=1(k^p_i)²)。最后,在ROSE和UCI data中的6个数据集上进行了实验仿真,结果表明newS算法是可行的,并且在同等约简效果下与其他算法相比具有更高的属性约简效率。     

基于新的条件熵的决策树规则提取方法

分析了知识约简过程中现有信息熵反映决策表“决策能力”的局限性，定义了一种新的条件熵，以弥补现有信息熵的不足；然后对传统启发式方法中选择属性的标准进行改进，由此给出了新的属性重要性定义；以新的属性重要性为启发式信息设计决策树规则提取方法。该方法的优点在于构造决策树及提取决策规则前不进行属性约简，计算直观，时间复杂度较低。应用实例分析的结果表明，该方法能提取更为简洁有效的决策规则。     

Approaches to knowledge reduction of covering decision systems based on information theory

In this paper, we propose some new approaches for attribute reduction in covering decision systems from the viewpoint of information theory. Firstly, we introduce information entropy and conditional entropy of the covering and define attribute reduction by means of conditional entropy in consistent covering decision systems. Secondly, in inconsistent covering decision systems, the limitary conditional entropy of the covering is proposed and attribute reductions are defined. And finally, by the significance of the covering, some algorithms are designed to compute all the reducts of consistent and inconsistent covering decision systems. We prove that their computational complexity are polynomial. Numerical tests show that the proposed attribute reductions accomplish better classification performance than those of traditional rough sets. In addition, in traditional rough set theory, MIBARK-algorithm [G.Y. Wang, H. Hu, D. Yang, Decision table reduction based on conditional information entropy, Chinese J. Comput., 25 (2002) 1-8] cannot ensure the reduct is the minimal attribute subset which keeps the decision rule invariant in inconsistent decision systems. Here, we solve this problem in inconsistent covering decision systems.     

概念格中基于粗糙熵的属性约简方法

属性约简是概念格理论的研究重点内容之一。通过将粗糙熵引入概念格理论中,定义了一种粗糙熵约简。首先,基于所有概念外延定义了形式背景的粗糙熵,并分析了它的性质;其次,定义了形式背景的粗糙熵约简,并揭示了粗糙熵约简与概念格约简之间的关系;在此基础上,基于属性重要度设计了计算粗糙熵的启发式算法,并通过实验验证了该算法的有效性。     

不完备系统中一种增量式属性约简算法

实际应用中，信息系统的数据常常是动态变化的，当对象增加时，原始的属性约简集不一定有效。针对不完备决策系统对象增加的情况，提出基于条件熵的增量式属性约简算法。首先定义不完备决策系统中的条件熵，然后分析对象增加时条件熵的变化机制以及对约简集的影响，提出增量式属性约简算法，当对象增加时，该算法能够更高效地进行属性约简。最后，实验验证本文算法的有效性和高效性。     

信息观下基于不一致邻域矩阵的属性约简

信息观下研究邻域决策系统的属性约简是一种新颖的思路. 通过分析论域下某样本邻域中其他样本与该样本决策属性值的异同, 定义不一致邻域矩阵. 在计算属性重要度时, 利用不一致邻域减少在原条件属性基础上增加一个属性后条件熵的计算时间. 分析得到邻域系统下条件熵与正域的关系, 提出一种信息观下基于不一致邻域矩阵的属性约简算法, 并分析该算法与其他算法的内在联系. 实验结果验证了所提出算法的有效性.

     

一种基于信息熵的模糊粗糙集知识获取方法

模糊粗糙集融合了模糊集和粗糙集的思想,是一种新的处理模糊和不确定性知识的软计算工具。针对属性为模糊值的信息系统,提出了一种基于熵的模糊粗糙集知识获取方法:首先通过模糊相似度量计算出各属性下对象的模糊相似值,再根据模糊相似关系构造模糊等价关系,然后根据模糊等价关系建立属性集的信息熵表示,继而使用基于信息熵的决策表属性约简算法获取规则。最后,通过一个实例,分析说明了这种算法的合理有效性。