基于信息熵的决策表约简

从信息论的角度,对决策表中属性重要性的大小进行度量,并在此基础上,提出了一种基于互信息大小的知识约简算法,实例表明能够有效得到决策表的近似最小约简。     

一种基于新的条件信息熵的高效知识约简算法

分析了在知识约简过程中现有条件信息熵的不足,给出一种新的条件信息熵,由此定义新的属性重要性.将其与基于正区域和基于现有条件信息熵的属性重要性进行比较,结果表明新的属性重要性是一种更准确、更全面的启发信息.以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的高效算法.理论分析和实验结果表明,与基于现有条件信息熵的约简算法相比,该约简算法时间复杂度较低,且在搜索最小或次优约简方面更优.     

基于覆盖算法的条件信息熵表示及属性约简

利用覆盖算法对数据进行处理,得到论域U的一个划分,定义一种基于覆盖的条件信息熵,由新的条件信息熵定义新的属性重要性,并证明了对于一致决策表,它与代数定义下的重要性是等价的。以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的算法。实验结果表明该约简算法能快速搜索到最优或次优约简。     

基于新的条件熵的决策表约简方法

分析了在知识约简过程中现有条件熵的不足,在一致和不一致对象分开的基础上,定义了一种新的条件熵概念,以弥补现有信息熵的不足,在此基础上给出了以不等式为条件的约简判定定理;然后以条件属性子集的条件熵来度量其对决策分类的重要性,提出了一种新的知识约简启发式方法.应用实例分析的结果表明,基于新的条件熵的属性重要性是一种更准确、更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优知识约简.     

不完备决策表的启发式知识约简算法研究

经典Rough集理论是基于完备信息系统的。然而在实际应用中,由于数据存取或数据处理方面的原因,决策表经常是不完备的,即存在缺值。为了处理不完备信息系统,Kryszkiewicz提出了基于容差关系的Rough集模型。在该模型下进行知识约简时,现有的算法一般都采用构造区分矩阵和相应区分函数的方法。该方法虽然可以求得所有约简,然而业己证明这是一个NP-hard问题,因此实践中更为可行的方法是利用启发式搜索算法求出最优或次最优约简。在文中提出属性的重要性定义,并以此作为启发式信息,设计一种完备的知识约简算法。     

基于信息熵的一种属性约简算法

文章针对Rough Set理论的核心内容之一属性约简进行了研究。结合信息论的有关知识,研究了在属性约简过程中决策属性集相对条件属性集的条件熵的变化规律,在此基础上提出了新的属性约简算法。实验分析表明,在多数情况下这种算法都能够得到决策表的最小约简,同时还对算法复杂度做了简单的分析。     

不一致决策表的知识约简方法研究

日前计算不一致决策表的分布约筒、最大分布约筒和分配约筒的方法均基于可辨识属性矩阵,在大数据集下耗时较多.为此,提出转化算法,将计算原不一致决策表的上述3种约简转化为计算3种一致决策表的Pawlak约筒,通过应用针对后者的高效启发式算法,有效地减少了计算时间．此外,引入λ-约筒的概念,通过调节A的值,能得到一族反映决策矢量不同水平相似程度的知识约筒．该方法降低了分布约筒对决策表区分能力的过高要求,较上述3种约筒更为灵活。     

基于扩展的信息熵的决策表属性约简算法

从一种扩展的信息观的角度出发,讨论了Rough集理论的信息论观点。提出了一种基于扩展的信息熵的决策表核属性计算算法．并设计了以属性重要性为启发信息的自下而上的决策表属性约简算法EIEAAR。同时针对不一致表,将属性对不相客对象的包含值作为第二标准选择属性以加快约简速度。EIEAAR算法能处理一致和不一致决策表,并将核属性计算和非核属性约简统一起来。最后,对算法进行复杂度分析并用实例验证算法的有效性。实验表明该算法能有效得到决策表的最小约简。     

对决策表和简化决策表的研究

简化决策表具有高效处理数据的能力,一经提出即得到广泛的重视。文中通过反例证明简化决策表在处理数据时会产生错误,改变了原决策表表达信息。通过分析得出简化决策表不具备处理不一致数据的能力,针对简化决策表存在的缺陷对其进行修正,提出新简化决策表的概念和建立算法。新简化决策表具有高效处理数据的能力,同时具备处理不一致数据的能力,并且不需要修改原有以决策表或简化决策表为基础的求核和求约简算法。     

基于条件信息熵的覆盖约简算法

针对覆盖算法中识别精度与泛化能力存在的矛盾,在信息论观点的Rough集理论基础上,提出覆盖熵概念,以决策属性相对于分类器的条件信息熵为约束条件,在确保算法分类能力不降低的情况下,对一组覆盖中信息熵最大的覆盖进行约简,减少了分类器的不确定因素。实验结果证明,该算法具有很好的识别精度与泛化能力,对模糊、不确定的数据也具有较好的处理能力。     

决策表知识约简及其条件熵特征刻画

建立决策表中知识与粗糙熵之间的关系,由此提出决策概念集的条件粗糙熵概念,进而推广为知识的条件熵,并证明知识的条件熵随信息粒度的变小而单调减少的规律,在此基础上给出以不等式为条件的约简判定定理.以此得到知识约简过程中启发式搜索的条件,结合分层递减的思想,设计基于条件熵的决策表知识约简算法.应用实例分析的结果表明,该算法是有效的.     

新的信息熵属性约简

在粗糙集不确定性度量公式中,模糊熵和模糊度是重要的度量方式。根据粗糙集不确定性度量中模糊熵和新的模糊度公式,提出了在决策信息系统中修正条件信息熵和相对模糊熵的概念,并分别用两种方式证明了熵在属性约简过程中的单调性。然后利用向前添加属性算法进行属性约简,约简结果在RIDAS(roughset based intelligent data analysis system)平台上进行识别率测试,通过实验对比分析了两种新的信息熵与条件信息熵的约简结果,为基于信息熵的属性约简提供了参考。     

基于粒度决策熵的属性约简

近年来,人们越来越关注粗糙集中的属性约简算法,尤其是启发式的约简算法。为了度量属性重要度,人们把各种不同的信息熵模型应用到粗糙集中,同时在信息熵这一理论的基础上得出了许多约简算法,用来解决粗糙集中属性约简的问题。然而,现有的基于信息熵的方法还存在一系列问题。针对这些问题,本文首先将知识粒度与相对决策熵这2个概念结合在一起,从而引入一种新的信息熵模型--粒度决策熵;然后,利用粒度决策熵来度量属性的重要性,并由此得出新的约简算法--ARGDE约简算法;最后,用不同的UCI数据集来做实验,通过与已有的约简算法比较,该算法能够得到更好的实验结果。     

一种基于模糊理论和条件熵的属性近似约简的方法

给出了一种基于信息系统中连续型属性的模糊相似关系的定义以及相对应的关系矩阵,为了降低计算量对Warshall算法进行了改进。从信息论的角度提出了基于条件信息熵的属性新的近似相对约简集的概念和对应的约简算法,分析了算法的复杂度。实例和算法比较说明该算法是有效的。     

粗糙集和信息熵的属性约简算法及其应用

阐述粗糙集理论和信息熵的基本概念,并为寻找属性约简的有效方法,提出一种基于粗糙集和信息熵的属性约简算法。在决策表中添加某个属性引起的互信息变化的大小,以反映该属性的重要性,并求相对约简。研究表明,该算法不仅能得到最优的决策规则,而且能够减少信息系统所需的搜索空间,得到更优的属性约简效果。     

带权决策表的属性约简

属性约简是粗糙集理论的重要应用。考虑将决策表中的每行都作为一条决策规则时，若把表中出现相同决策规则的次数作为权，可得到带权决策表。提出了关于带权决策表的正域约简相应的辨识矩阵并给出了证明，从而得到了约简算法。相比于决策表中的正域约简时发现，通过将决策表转化为带权决策表后，再利用算法1进行约简时，其在一定程度上优于前者。提出了近似分类精度约简相应的辨识矩阵并给出了证明。对于2个算法，在选取的UCI数据集上进行了实验验证。通过实验进一步说明了所提出算法的可行性和有效性。     

决策表属性约简及其条件信息量表示

讨论了决策表属性约简和条件信息量之间的关系,证明了对于一致决策表,其属性约简在代数表示下和信息论中条件信息量表示下是等价的。并举例说明,对于不一致决策表,其属性约简的代数表示不能用条件信息量来等价表示。论文还给出了一种基于条件信息量的属性约简启发式算法。