决策粗糙集与代价敏感分类

将决策粗糙集与代价敏感学习相结合,提出了一种基于决策粗糙集的代价敏感分类方法。依据决策粗糙集理论和属性约简方法,对待预测样本分别计算最优测试属性集,使得样本在最优测试属性集上计算的分类结果具有最小误分类代价和测试代价,依此给出样本的最小总代价分类结果。针对全局最优测试属性集求解过程中计算复杂度高的问题,提出了局部最优测试属性集的启发式搜索算法。该算法以单个属性对降低总分类代价的贡献率为启发函数,搜索各样本的局部最优测试属性集,并输出在局部最优测试属性集上样本的代价敏感分类结果。在UCI数据上的实验分析显示,所提算法有效地降低了分类结果的总代价和测试属性个数,使得样本分类结果同时具有较小的误分类代价和较小的测试代价。     

模糊决策粗糙集代价敏感属性约简研究

针对决策中普遍存在的代价问题,在模糊理论和决策粗糙集的基础上,对其代价敏感属性约简方法进行了研究。在模糊决策粗糙集属性约简中引入了包含误分类代价和测试代价的总代价。因此约简的目标不再只是考虑正域的大小,而是寻找使得总代价最小的最优属性子集。提出了一种模糊决策粗糙集代价敏感属性约简(COSAR)算法,该算法采用启发式方法搜索最优属性子集。给出了算法的步骤,并将该算法与已有的模糊粗决策粗糙集属性快速约简(QuickReduct)算法进行了性能对比。实验结果表明,COSAR算法比QuickReduct算法具有更强的属性约简能力、更低的分类总代价、更短的运行时间,且随着测试样本的增加,分类总代价差值也越来越大。     

测试代价敏感的决策粗糙集正域约简

对测试代价敏感的决策粗糙集(decision theoretic rough sets,DTRS)正域约简问题进行了研究。在传统正域约简的基础上将测试代价考虑进来,希望找到测试代价总和最小的正域约简。采用模拟退火算法结合传统决策粗糙集正域约简算法来搜索测试代价总和最小的正域约简结果。提出了一种测试代价敏感的决策粗糙集正域约简算法TCSPR(test-cost sensitive positive region-based reduction algorithm for DTRS),并分析了该算法的时间复杂度。实验结果验证了TCSPR算法的有效性,该算法能在多项式时间内找到一个属性更少、测试代价更小的正域约简,找到的解一般为优化目标的最优解或次优解,即测试代价总和最小的正域约简,并且该算法在部分数据集上的分类能力几乎不减。     

基于邻域信息熵度量数值属性快速约简算法

阐述邻域粗糙集和邻域信息熵的基本定义及性质,为避免数值属性信息系统属性约简过程中,属性离散化造成特征信息的丢失,提出一种新的基于邻域信息熵度量数值属性约简算法。扩展邻域信息系统核属性集生成约简属性集,邻域信息熵度量不仅关注约简属性集正域变化,而且考察负域样本空间约简属性邻域等价类在决策属性划分的分布,具备更好的邻域关系度量细粒度。实验表明,对比邻域粗糙集近似度量、邻域有效信息率度量、邻域软间隔度量的属性约简方法,该算法能有效进行邻域信息系统属性约简的同时,也保持了约简属性集更好的分类精度。     

变精度粗糙集模型属性约简分析

分析了变精度粗糙集模型属性约简过程出现跳跃的原因,并给出消除跳跃现象的方法。探讨了基于分类质量、相对正域和决策类下近似的属性约简定义,并采用属性添加法对条件属性进行约简,约简过程反映了分类能力的变化。     

一般二元关系下的近似属性约简算法

属性约简是粗糙集理论重要应用之一.考虑到决策信息系统中的噪声,针对一般二元关系,从知识分类能力角度给出了一种新的属性重要性度量方法,在此基础上提出了一种能够抑制噪声的近似属性约简算法,该算法适用于多种粗糙集扩展模型,摆脱了现有约简算法对特定二元关系的依赖.实验结果表明,近似约简算法通过调节近似参数,可有效增强抗噪性,在有效降低约简属性集规模的同时,提高了约简结果的分类性能.     

基于代价敏感的粗糙集近似集与粒度寻优算法

粗糙集的近似集用已有知识粒对不确定性目标概念进行近似描述,但在构建近似集时并没有考虑数据的代价信息这一实际因素.对此,首先分析在构建粗糙集的近似集时考虑代价信息的必要性;然后,从代价敏感角度构建误分类代价的粗糙集近似集模型,并分析该模型下求得的近似集的相关性质.为了在多粒度空间中寻找一个合适的粒度空间来对不确定性目标概念进行近似描述,使误分类代价与测试代价之和尽可能小,给出属性代价贡献率的定义,并提出一种代价敏感的粒度寻优算法.实验结果表明,所提出算法能适用于现有代价认知场景,并在给定代价场景下求出合理的层次粒度空间结构以及不确定性目标概念的近似集.     

基于测试代价的三支邻域属性约简算法

针对粗糙集属性约简时很少考虑属性自身的测试代价等问题,提出了一种基于测试代价的三支邻域属性约简算法。算法根据各属性在邻域分辨矩阵中出现的频次和比例来计算属性重要性,并结合属性自身的测试代价来构造性价比指标,以此指导属性的甄选。三支决策方法被用于划分属性集,为属性的约简处理提供数据支撑。在7个UCI公共数据集上进行对比实验,结果表明,该算法可得到比对比算法更小的属性约简集合,在分类精度不降低的情况下,该算法具有更少的运行时间和更小的测试代价。基于财政收入的预测应用实例进一步证明了所提算法的有效性和实用性。     

基于近似决策熵的属性约简

粗糙集理论已被证明是一种有效的属性约简方法. 目前有许多启发式属性约简算法已被提出, 其中基于信息熵的属性约简算法受到了广泛的关注. 为此, 针对现有的基于信息熵的属性约简算法问题, 定义一种新的信息熵模型—–近似决策熵, 并提出一种基于近似决策熵的属性约简(ADEAR) 算法. 通过在多个UCI 数据集上的实验表明, 与现有算法相比, ADEAR算法能够获得较小的约简和较高的分类精度, 具有相对较低的计算开销.     

基于下近似单调的变精度粗糙集属性约简方法

单调性在经典粗糙集属性约简过程中发挥着重要的作用。然而,在一些扩展模型中该单调性质并不存在,如变精度粗糙集模型。针对该问题,提出了变精度粗糙集模型中下近似单调约简的定义,下近似单调约简算法打破了传统意义上属性约简保持下近似不发生变化的局限性,认为属性约简可以追求下近似集尽可能增大。同时给出了求得该约简的属性约简方法。实验结果表明,相较于下近似保持约简算法,下近似单调约简算法求得的约简不仅增加了正域规则数目也减少了边界域规则数目,而且提高了数据的分类精度。由此可见,下近似单调约简算法增加了由正域表示的确定性,同时降低了由边界域带来的不确定性。     

新的基于区分对象集的邻域粗糙集属性约简算法

基于正域的属性约简算法是利用"下近似"思想,仅考虑被正确区分样本数的约简算法。借鉴"上近似"的思想,利用"邻域信息粒"的概念定义了区分对象集,探讨了其基本性质,并提出了基于区分对象集的属性重要度度量及启发式属性约简算法。该约简算法既考虑信息决策表的相对正域,也考虑以核属性为启发信息逐个增加条件属性时对边界域样本的影响。通过实例分析,说明了所提算法的可行性,并且以6个UCI标准数据集为实验对象,与基于正域的属性约简算法进行对比实验。实验结果说明,采用提出的约简算法得到的约简属性集,与基于正域的属性约简算法相比,在进行分类任务时的分类精度能够保持不变或有所提高。     

一种基于有序属性决策系统分类规则提取策略

分类规则的精度取决于分类算法的构造,论文在综合分析基本粗糙集合概念及其约简算法的基础上,阐述了一种基于准则的有序属性决策系统的数据挖掘算法．为此首先介绍了基于有序属性决策系统的集合表达,然后利用有序属性决策系统中准则集与属性集的基本特征构造上下近似扩展模型,得到准则集决策系统的四个相关参数．并进一步提出相应的数据约简与分类规则提取算法。最后给出了用此算法约简有序属性决策系统的算例,实验结果表明此方法挖掘出的规则简练,更具合理性和可靠性。     

属性约简在高校就业决策分析中的应用

粗糙集理论是一种采用新方式来研究不精确、不确定性知识的数学工具。属性约简的计算是粗糙集理论中的一个重要问题。描述基于粗糙集的属性约简的相关概念,包括核、约简、分类精度;通过分析多种属性约简算法,结合可辨识矩阵和逻辑运算,提出了一种属性约简算法;围绕高校中的管理信息系统,利用该算法抽取与学生就业相关的数据信息,给出了影响学生就业的各条件因素与工作方向之间的依赖关系和约简后的数据表;获取相关规则得出结论,取得了良好的效果。     

基于粗糙集的快速属性约简算法研究

通过分析现有相容决策表属性约简算法,找出了计算低效性的根源。新的约简算法从论域的角度出发,采用层次结构,用属性边界域作为度量属性重要性启发函数。该算法使得论域不断缩小的同时,又能选出反映决策表系统特征的重要属性。理论分析和实验表明,该算法保证在分类精度不变的前提下,获得最优或次优的约简属性集。     

基于可区分度的连续空间属性约简算法研究

针对现有粗糙集属性约简方法中存在的连续数据处理时的信息丢失、粒化策略引入不一致信息、参数寻优困难等问题,提出一种适用于连续型数据、基于类别可区分度的非单调性启发式属性约简算法。首先以各样本的标签为依据对论域进行划分,同一标签的样本组合成一个簇,定义每个簇的类间可区分度和类内可区分度;其次,以最大化类间可区分度、最小化类内可区分度为约简原则,定义了一种新的属性重要性判别准则以确定最优约简集,从而提高后续分类器的分类性能。在十一个UCI数据集上与其他六种属性约简算法进行对比实验。结果表明,与六种算法相比,所提算法获得的约简集平均维度减小了1.16,平均分类精度提高了3.42%,其表现出更好的约简性能。     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。