基于覆盖算法的条件信息熵表示及属性约简

利用覆盖算法对数据进行处理,得到论域U的一个划分,定义一种基于覆盖的条件信息熵,由新的条件信息熵定义新的属性重要性,并证明了对于一致决策表,它与代数定义下的重要性是等价的。以新的属性重要性为启发信息设计约简算法,并给出计算新的条件信息熵的算法。实验结果表明该约简算法能快速搜索到最优或次优约简。     

基于新的条件熵的决策表约简方法

分析了在知识约简过程中现有条件熵的不足,在一致和不一致对象分开的基础上,定义了一种新的条件熵概念,以弥补现有信息熵的不足,在此基础上给出了以不等式为条件的约简判定定理;然后以条件属性子集的条件熵来度量其对决策分类的重要性,提出了一种新的知识约简启发式方法.应用实例分析的结果表明,基于新的条件熵的属性重要性是一种更准确、更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优知识约简.     

改进的差别矩阵启发式属性约简算法

为在决策表中获得更好的属性约简组合,从信息论角度分析,在基于区分矩阵的基础上,提出一种改进的以条件熵作启发信息的约简算法。同时考虑条件属性相对于决策属性的条件信息熵以及属性值的分布情况,用它们的比作为启发因子,重新给出一种度量属性重要度的依据,得到属性约简集。实验结果表明,该算法能够有效约简属性集,使约简结果获得最简决策规则组合。     

基于相对可辨识矩阵的决策表属性约简算法

针对现有属性约简算法存在的问题,利用信息论和粗糙集理论,提出一种基于相对可辨识矩阵的决策表属性约简算法.该算法以核属性为基础,通过建立相对可辨识矩阵,利用条件信息熵作为启发式信息,减少属性约简过程中的搜索空间,逐个添加条件信息熵最大的属性,直到找出最小约简为止,并分析了该算法的时间复杂度.实例分析结果表明,该算法能有效地对决策表属性进行约简.     

基于粒度计算的特征选择方法

从粒度计算的划分模型出发,重新定义了相容决策表的约简,并给出了一种新的基于粒度计算的属性约简算法.该算法以信息熵作为启发信息,通过逐渐增加属性构成条件属性集相对于决策属性的约简,再通过删除约简中的所有不必要属性,得到最小约简.该算法有效地降低了计算属性约简的时间复杂度,可以用于较大规模数据集的特征选择.在5个公开的基因表达数据集上的实验证明了该算法能找到高区分能力的特征子集.     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.     

基于新的条件熵的决策树规则提取方法

分析了知识约简过程中现有信息熵反映决策表“决策能力”的局限性，定义了一种新的条件熵，以弥补现有信息熵的不足；然后对传统启发式方法中选择属性的标准进行改进，由此给出了新的属性重要性定义；以新的属性重要性为启发式信息设计决策树规则提取方法。该方法的优点在于构造决策树及提取决策规则前不进行属性约简，计算直观，时间复杂度较低。应用实例分析的结果表明，该方法能提取更为简洁有效的决策规则。     

一种基于信息熵的信息系统属性约简算法*

粗糙集中找到最小属性约简是一个NP-hard问题,本文根据知识信息熵的定义和性质,定义属性重要性,分析其性质,得出核的求法,给出约简的判定定理,提出了一种基于信息熵的属性约简算法。该算法采用启发式搜索法,先计算属性重要性,求得核,再以核为起点,以属性重要性大小为启发式信息,选择属性,求得最小约简。理论分析和实际计算表明,该算法简明有效。     

一个有效的基于信息熵的启发式属性约简算法

基于信息熵的属性约简算法都是以信息熵为启发信息设计的,其时间复杂度并不理想.为降低算法的时间复杂度,引入简化决策表的定义,设计了一个求简化决策表的算法,其时间复杂度为O(|C||U|).以快速缩小简化决策表的搜索空间为目的,定义了一个新的、较为合理的、度量属性的信息量,并给出了它的递归计算方法,其时间复杂度为P(| U/C|).同时证明了简化决策表上基于信息量的属性约简与原决策表上基于信息熵的属性约简是等价的.然后以属性的信息量为启发信息,设计了一个基于信息熵的快速属性约简算法,其时问复杂度降为max(O(|C||U|),O(|C|2|U/C|)),并用一个实例说明算法的有效性,实验结果表明新算法不仅具有高效性,且能处理大型决策表.     

基于条件分布信息量的不完备决策表属性约简

通过分析目前信息观下不完备信息系统属性约简,针对已提出的几种信息熵存在随着属性的增加系统分类能力减弱的不足,从条件属性确定的容差类在决策属性划分上的分布出发,给出不完备决策表的条件分布信息量的定义;同时,定义了新的属性重要度,并以此为启发信息设计属性约简算法。通过实验说明了该算法对不完备决策表属性约简是可行的。     

优势信息系统中的启发式属性约简算法

在优势信息系统中引入粒度熵概念,定义其相关的性质和定理,并以优势关系下的粒度熵为启发式信息,给出属性的重要性度量。在此基础上提出一种基于粒度熵的启发式属性约简算法,并分析该算法的时间复杂度。通过实例说明该算法的有效性,为进一步研究优势目标信息系统的规则提取提供理论基础。     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

关于决策表约简的CEBARKNC算法改进

CEBARKNC算法是基于条件信息熵的决策表约简算法，但是该算法对于某些决策表的约简是不完全的。通过对CEBARKNC算法的分析，找出该算法的约简不完全的原因，并讨论了启发信息的构造，进而在此基础上提出了以粗糙集的代数理论为基础，以条件信息熵为属性约简的启发式信息的改进算法。     

基于蜂群优化的粗糙集属性约简

为了获得决策表中更好的属性约简,提出一种信息增益引导的蜂群优化算法;该算法以属性的信息熵为基础构造条件属性与决策属性间的互信息,用待选条件属性引起的信息增益作为引导蜜蜂搜索的启发信息,最终求得属性约简集;对UCI数据库多个数据集的测试结果表明,与其它基于群智能的属性约简算法相比,该算法获得最小属性约简的机率提高到90%以上,同时较对比算法的计算时间少耗费至少10%。     

区间值决策信息系统的启发式属性约简

区间值决策信息系统是单值信息系统的一种推广,借助于属性区间值的相似程度在区间值决策系统上引入α极大相容类的概念,定义了一种新的条件信息熵,提出了相对属性内(外)重要度的度量方法,进一步,给出基于α条件信息熵的启发式相对约简算法,通过实验验证了该算法的有效性。     

决策表属性约简及其条件信息量表示

讨论了决策表属性约简和条件信息量之间的关系,证明了对于一致决策表,其属性约简在代数表示下和信息论中条件信息量表示下是等价的。并举例说明,对于不一致决策表,其属性约简的代数表示不能用条件信息量来等价表示。论文还给出了一种基于条件信息量的属性约简启发式算法。