数据挖掘中属性约简算法的研究

本文就粗糙集理论及其在数据挖掘中的应用方法进行了较为深入系统地研究。重点研究了扩展粗糙集模型;基于连续属性的粗糙集模型及其约简算法;不完备信息系统下粗糙集模型及其约简算法;以及更一般的集值信息系统及其约简算法。     

基于属性桶的约简算法

基于粗糙集理论的属性约简算法是机器学习和数据挖掘领域的研究热点之一。粗糙集理论是一种新型的处理模糊和不确定信息的数学工具,在保证分类能力不变的前提下,通过知识的约简导出概念的分类规则。文中提出了一种基于属性桶的约简算法,其约简过程类似基于属性频度函数的约简算法。该算法首先构造一组与决策表决策属性个数相同的属性桶,不同的属性桶划分了不同长度的区分矩阵项,避免了约简前的排序过程。通过构造属性桶时对核属性进行特殊处理,在一定程度上简化了属性约简过程。     

改进的属性约简算法在数据挖掘中的应用研究

属性约简是应用粗糙集理论进行数据挖掘有效的方法之一,HORAFA属性约简算法它的不足之处在于约简效率和完备性.应用粗糙集对知识分类的特点,建立了新的数据挖掘模型.在模型的属性约简模块中,详细分析了HORAFA算法,提出了对其改进的HORAFA-AFVDM算法.该算法是在核中依次加入属性重要性最大的属性a,对于Red=Red è{a},当POSred-ai(D)=POSC(D)时删除a,直到不能再删为止,保证了算法的完备性.实验在MATLAB环境下实现,算法的测试数据来源于UCI数据集,通过对改进前后两种算法的比较,证实了改进后算法从属性约简效率和算法运行时间上均比之前的算法有显著的提高,文中将该数据挖掘模型应用到短信数据挖掘系统中.     

考虑属性排名的约简算法

属性约简是粗糙集研究的重要内容之一.目前有多种计算约简集的方法,但计算效率普遍不高.杨萍等学者提出的基于二进制区分矩阵的启发式约简算法,考虑了属性的区分度和区分率,采用高效的逻辑运算获得约简集,提高了运算的效率.在该算法的基础上,首先指出其计算所得的约简集存在不确定性,然后给出一种考虑属性排名的改进的约简算法,消除了约简集的不确定性,并且可以迎合用户的需求.最后通过一个信息系统实例,验证该算法的可行性和有效性.     

基于浓缩树结构的启发式属性约简算法

属性约简是粗糙集理论的重要研究内容之一,对浓缩树结构中属性出现的频率进行加权,以属性频率的权重作为启发,以核为基础,从树中删除属性重要性最大的属性结点,直到树为空;为了找到信息系统的最优约简,在此基础上加了一个逆向消除的过程,直到不能再删为止。最后通过一个实例完整演示了该方法,证实其有效性。     

一种基于二进制区分矩阵的属性约简算法

提出一种基于二进制区分矩阵的属性约简算法,将传统的区分矩阵以二进制形式表现出来,并且针对这个区分矩阵的特点,从两个不同的层次考察属性的重要性,引导求解过程趋于最优化．采用多个数据库进行试验,并与其它两种约简算法进行比较．实验结果表明,该算法是正确且高效的．     

一种改进的区分矩阵属性约简算法

属性约简是粗糙集理论研究的关键问题之一。文章以属性在区分矩阵中出现的频率作为启发,对HORAFA算法做了一些改进。提出了HORAFA-AFVDM(HORAFA base on Attribute frequency value of dis- cernbility matrix)算法。它是以核为基础,加入属性重要性最大的属性,直到不能再加。为了能找到信息系统的最优约简,在此基础上加了一个反向消除过程,直到不能再删为止。最后在MATLAB环境下进行了实验,通过比较改进前后两种算法,表明HORAFA-AFVDM算法在属性约简情况和算法运行时间上都比HORAFA算法有明显的改进。     

基于决策表的区分矩阵增量属性约简算法

对于决策表中存在对象动态变化的现象,当利用静态的属性约简算法处理这类决策表时算法效率并不理想,为了有效提高增量属性约简算法的效率,对决策表进行了简化,并证明了基于简化区分矩阵的属性约简与基于区分矩阵的属性约简是一致的,在利用原的属性约简的基础上,提出了一种基于决策表的区分矩阵增量属性约简算法,通过实例分析说明算法的有效性和可行性。     

一种基于浓缩树结构的属性约简算法

属性约简是粗糙集理论的重要研究内容之一,其中基于区分矩阵的约简算法是一种高效的约简算法,但算法具有很高的空间复杂度.为了减少区分矩阵的空间开销,利用浓缩树结构,结合区分矩阵单个属性一定为核属性的特征,提出改进的生成浓缩树算法,压缩存储区分矩阵中的非空数据项,且不丢失原区分矩阵的所有信息;利用生成的浓缩树结构结合启发式策略,给出属性约简算法.实验结果表明,算法正确有效并且空间复杂度有明显降低.     

一种基于浓缩树结构的属性约简算法

属性约筒是粗糙集理论的重要研究内容之一,以浓缩树结构存储区分矩阵中的非空数据项,对IReductBtree算法进行了一些改进.它是根据树结构特点结合特殊的启发式策略,删除树中结点,直到树空最后得到信息系统的一个约简.最后,通过一个实例完整演示了该方法证实其有效性.     

基于粗糙集理论的并行约简算法

从粗糙集理论出发,在可分辨关系和对象差异矩阵概念的基础上构造出基于粗糙集理论的并行约简算法。算法首先将原系统划分为多个子系统,然后利用评价指数对划分得到的子系统并行求解,最后以子系统的局部约简结果为基础,求得原系统的约简。算法的时空性能较好,适于处理大规模数据集。     

基于遗传算法的粗糙集属性约简算法

针对粗糙集理论核心内容之一的知识约简问题,提出了一种基于遗传算法的粗糙集属性约简算法。利用条件熵计算属性间的相关性,并将其引入到适值函数中,可以保证所求约简含有较少的属性而且属性间的相关性较小。实验证明,它可以得到比较理想的结果,对UCI机器学习数据集的测试结果也验证了算法的有效性。     

一种基于粗集理论的属性约简改进算法

利用粗集理论中属性的依赖度和重要度性质,提出一种对数据属性进行约简的改进算法,对该算法进行分析,并运用一个简单的例子对该算法的有效性进行验证。     

集值决策信息系统的动态属性约简算法

在现实应用中许多数据往往是动态变化的,静态的属性约简算法处理此类数据需消耗大量的计算时间和存储空间。针对集值决策信息系统中数据的动态变化情况,通过引入条件信息量和属性重要性概念,提出了一种启发式的动态属性约简算法,当新的属性集增加到决策信息系统时,算法能够利用原系统的属性约简结果,快速更新属性集增加后的属性约简,并对更新后的属性约简中可能存在的冗余属性进行反向剔除,保持了知识获取的简洁,提高了算法的计算效率。最后,通过实例验证进一步分析了算法的有效性和可行性。     

基于免疫的粗糙集属性约简算法及应用

地下施工中影响施工的风险影响因素十分繁杂,为了从中剔除不必要或不重要的因素,提出一种新的基于免疫的粗糙集属性约简算法--IRSAR.该算法在求出决策表的相对核core的基础上初始化抗体群,并定义了新的亲和度计算函数和克隆增殖函数,有效地提高了亲和度的收敛速度.利用记忆数组存放每一代中满足条件的抗体,制定了记忆数组更新策略,从而得到最优抗体.实验结果表明,IRSAR算法能够较快地得出合理有效的约简结果.     

基于二进制可辨矩阵的属性约简算法的改进

属性约简是粗糙集理论的核心内容之一，信息系统中知识(属性)并不是同等重要的，甚至其中某些知识是冗余的。属性约简是在保持信息系统中知识量(即分辨能力)不变的条件下，删除其中不相关或不重要的知识，现已证明寻找信息系统的最小属性约简是NP-hard问题。解决这类问题的一般方法是采用启发式算法求出最优或次最优约简。对支天云等所给出的二进制可辨矩阵的化简算法进行了改进，并根据属性的分辨能力的大小，提出了一种基于二进制可辨矩阵的思路清晰、实现简便的属性约简算法。通过算法分析表明，该算法是更加高效的。     

属性约简矩阵特征结构及分层约简快速算法

已有的属性约简算法往往只能提供一个可行解,并且不能保证是最小约简解.因此,详细分析属性约简特征并获得最小约简解具有重要意义.本文针对信息系统数据集提出属性约简矩阵,通过矩阵的结构特征分析得到属性的约简特征,因此采用矩阵代数的方法求解属性约简问题,并得到分层约简快速算法.经实例运算可见,矩阵代数的处理和算法大大降低了最小约简解获取的计算量.     

快速的属性约简算法

属性约简的效率是粗糙集等软计算理论的核心问题之一。为了提高约简效率,在分析不可分辨关系和基数排序特点的基础上,提出了一种时间复杂度为O（|C||U|）的求核算法。然后,运用改进的属性重要度作为启发信息,得到一种快速的属性约简算法,时间复杂度为O（|C|²|U|）。最后,通过UCI机器学习库中的一些数据集对算法进行测试,证明了算法对大型的数据集进行属性约简的高效性。     

An incremental algorithm for attribute reduction with variable precision rough sets

Attribute reduction with variable precision rough sets (VPRS) attempts to select the most information-rich attributes from a dataset by incorporating a controlled degree of misclassification into approximations of rough sets. However, the existing attribute reduction algorithms with VPRS have no incremental mechanisms of handling dynamic datasets with increasing samples, so that they are computationally time-consuming for such datasets. Therefore, this paper presents an incremental algorithm for attribute reduction with VPRS, in order to address the time complexity of current algorithms. First, two Boolean row vectors are introduced to characterize the discernibility matrix and reduct in VPRS. Then, an incremental manner is employed to update minimal elements in the discernibility matrix at the arrival of an incremental sample. Based on this, a deep insight into the attribute reduction process is gained to reveal which attributes to be added into and/or deleted from a current reduct, and our incremental algorithm is designed by this adoption of the attribute reduction process. Finally, experimental comparisons validate the effectiveness of our proposed incremental algorithm.