基于自适应鲸鱼优化算法和容错邻域粗糙集的特征选择算法

针对传统鲸鱼优化算法(WOA)不能有效处理连续型数据、邻域粗糙集对噪声数据的容错性较差等问题,文中提出基于自适应WOA和容错邻域粗糙集的特征选择算法.首先,为了避免WOA过早陷入局部最优,基于迭代周期构建分段式动态惯性权重,改进WOA的收缩包围和螺旋捕食行为,设计自适应WOA.然后,为了解决邻域粗糙集对噪声数据缺乏容错性的问题,引入邻域内相同决策特征所占的比例,定义容错邻域上下近似集、容错近似精度和近似粗糙度、容错依赖度及容错近似条件熵.最后,基于容错邻域粗糙集构造适应度函数,使用自适应WOA,不断迭代以获取最优子群.高维数据集上采用费雪评分算法进行初步降维,降低算法的时间复杂度.在8个低维UCI数据集和6个高维基因数据集上的实验表明,文中算法可有效选择特征个数较少且分类精度较高的特征子集.     

基于非对称变邻域粗糙集模型的属性约简

在分析邻域粗糙集模型弊端的基础上,提出了非对称变邻域粗糙集模型,并以全局属性重要度为启发条件,构造了基于非对称变邻域粗糙集模型的属性约简的启发式算法.利用6个UCI标准数据集与现有算法进行了比较分析,结果表明,该模型不仅可以选择较少的属性个数,而且还能保持较高的分类能力.     

基于邻域关系模糊粗糙集的分类新方法

针对目前模糊等价关系所诱导的模糊粗糙集模型不能准确地反映模糊概念范畴中数值属性描述的决策问题,提出一种基于邻域关系的模糊粗糙集模型NR-FRS,给出了该粗糙集模型的相关定义,在讨论模型性质的基础上进行模糊化邻域近似空间上的推理,并分析特征子空间下的属性依赖性;最后在NR-FRS的基础上提出特征选择算法,构建使得模糊正域增益优于具体阈值的特征子集,进而剔除冗余特征,保留分类能力强的属性.采用UCI标准数据集进行分类实验,使用径向基核函数(RBF)支持向量机作为分类器.实验结果表明,同基于邻域粗糙集的快速前向特征选择方法以及核主成分分析方法(KPCA)相比,NR-FRS模型特征选择算法所得特征子集中特征数量依据参数变化更加平缓、稳定.同时平均分类准确率提升最好可以达到5.2%,且随特征选择参数呈现更加平稳的变化.     

基于邻域粗糙集和概率神经网络集成的基因表达谱分类方法*

从癌症基因表达谱分析入手,针对基因表达谱维数高、样本少的特点,提出一种用于癌症分类的基于邻域粗糙集和概率神经网络集成的分类方法.首先利用Relief算法对基因进行排序,然后利用邻域粗糙集选取分类特征基因,最后结合概率神经网络集成分类模型进行癌症分类.实验结果表明,该方法可以快速有效地选取癌症特征基因,能获得更好的分类效...     

F-邻域粗糙集及其约简

邻域粗糙集可以直接处理数值型数据, F- 粗糙集是第一个动态粗糙集模型. 针对动态变化的数值型数据, 结合邻域粗糙集和F- 粗糙集的优势, 提出了F- 邻域粗糙集和F- 邻域并行约简. 首先, 定义了F- 邻域粗糙集上下近似、边界区域; 其次, 在F- 邻域粗糙集中提出了F- 属性依赖度和属性重要度矩阵; 根据F- 属性依赖度和属性重要度矩阵分别提出了属性约简算法, 证明了两种约简方法的约简结果等价; 最后, 比对实验在UCI数据集、真实数据集和MATLAB生成数据集上完成, 实验结果显示, 与相关算法比较, F- 邻域粗糙集可以获得更好的分类准确率. 为粗糙集在大数据方面的应用增加了一种新方法.     

邻域粗糙集中不确定性的熵度量方法

针对传统粗糙集理论中不确定度量方法难以适用于邻域粗糙集模型的问题,引入信息熵的度量方法,提出了基于信息熵的邻域粗糙集不确定性度量方法。该方法采用邻域关系对连续型数据进行信息粒化,基于粒化后的数据定义邻域系统中的近似精度、邻域信息熵、加权邻域信息熵等不确定性度量。进一步提出邻域系统不确定性度量的公理化表示,证明邻域系统的近似精度、邻域信息熵、加权邻域信息熵都是公理化度量;给出其最大最小值,证明其满足单调性原理。理论分析与实验表明邻域系统中的信息熵度量优于近似精度度量。     

基于邻域粗糙集的多标记分类特征选择算法

多标记学习是一类复杂的决策任务,同一个对象可能同时属于多个类别.此类任务在文本分类、图像识别、基因功能分析等领域广泛存在.多标记分类任务往往由高维特征描述,存在大量无关和冗余的信息.目前已经提出了大量的单标记特征选择算法以应对维数灾难问题,但对于多标记的属性约简和特征选择却鲜有研究.将粗糙集应用于多标记数据的特征选择中,针对多标记分类任务,重新定义了邻域粗糙集的下近似和依赖度计算方法,探讨了这一模型的性质,进而构造了基于邻域粗糙集的多标记分类任务的特征选择算法,并给出了在公开数据上的实验结果.实验分析证明算法的有效性.     

基于粒子群优化和邻域约简的入侵检测日志数据特征选择

入侵检测日志数据具有数据量大、特征数目繁多以及连续型属性多的特点.传统的特征选择方法在处理连续型数据时要先进行离散化,这需要花费大量的预处理时间并且离散化过程可能会丢失一些重要信息,导致分类精度下降.针对上述问题,首先引入能直接处理连续型数据的邻域粗糙集约简模型,在此基础上构造计算粒子群优化算法中粒子的适应度函数,最后给出一种基于邻域粗糙集模型和粒子群优化的特征选择算法.仿真实验结果表明该算法可以选择较少的特征,改善分类的能力.     

监督邻域粗糙集

传统单一阈值的邻域粗糙集不能有效降低信息的不确定性。考虑对象已有或预测的类别标签信息,通过引入类内和类间两种阈值,提出一种新的邻域粒化方法,并构建了一种基于监督邻域的粗糙集模型。该模型是传统邻域粗糙集的推广形式。通过分析双阈值下的邻域粒子变化规律,给出该模型的粗糙近似质量和条件熵单调性变化定理。最后通过4个UCI数据集验证了该模型的性能。实验结果显示,可以通过调节监督阈值参数来改善论域的邻域粒化效果,并降低信息的不确定性。     

基于对象更新的邻域多粒度粗糙集模型增量式算法

邻域多粒度粗糙集模型是粗糙集理论的重要研究分支。然而在大数据环境下,数据时刻处于动态更新之中,针对数值型信息系统对象动态变化的情形,本文提出一种邻域多粒度粗糙集模型的增量式更新算法。文中首先利用矩阵的方法表示了邻域多粒度粗糙集中邻域类与目标近似集之间的两种近似关系,分别称之为子集近似关系矩阵和交集近似关系矩阵,并通过这两种近似关系矩阵重构了邻域多粒度粗糙集模型;然后针对数值型信息系统对象增加和对象减少的情形,研究了这两种近似关系矩阵随对象变化时的增量式更新,理论分析证明了这种更新方法的高效性;最后基于近似关系矩阵的增量式更新设计出了邻域多粒度粗糙集模型的增量式更新算法。实验结果验证了所提出增量式算法的有效性和优越性。     

基于邻域粗糙互信息熵的非单调性属性约简

属性约简是粗糙集理论一项重要的应用,目前已广泛运用于机器学习和数据挖掘等领域,邻域粗糙集是粗糙集理论中处理连续型数据的一种重要方法.针对目前邻域粗糙集模型中属性约简存在的缺陷,构造一种基于邻域粗糙集的邻域粗糙熵模型,并基于此给出邻域粗糙联合熵、邻域粗糙条件熵和邻域粗糙互信息熵等概念.邻域粗糙互信息熵是评估属性集相关性的一种重要的方法,具有非单调性变化的特性,对此,提出一种基于邻域粗糙互信息熵的非单调性属性约简算法.实验分析表明,所提出算法不仅比目前已有的单调性属性约简算法具有更优越的属性约简结果,而且具有更高的约简效率.     

Three-way decision reduction in neighborhood systems

Rough set reduction has been used as an important preprocessing tool for pattern recognition, machine learning and data mining. As the classical Pawlak rough sets can just be used to evaluate categorical features, a neighborhood rough set model is introduced to deal with numerical data sets. Three-way decision theory proposed by Yao comes from Pawlak rough sets and probability rough sets for trading off different types of classification error in order to obtain a minimum cost ternary classifier. In this paper, we discuss reduction questions based on three-way decisions and neighborhood rough sets. First, the three-way decision reducts of positive region preservation, boundary region preservation and negative region preservation are introduced into the neighborhood rough set model. Second, three condition entropy measures are constructed based on three-way decision regions by considering variants of neighborhood classes. The monotonic principles of entropy measures are proved, from which we can obtain the heuristic reduction algorithms in neighborhood systems. Finally, the experimental results show that the three-way decision reduction approaches are effective feature selection techniques for addressing numerical data sets.     

基于矩阵的混合型邻域决策粗糙集增量式更新算法

决策粗糙集模型是当前粗糙集理论最为重要的研究分支之一.然而,由于现实环境下数据类型的复杂多样以及数据的动态更新,使得传统的决策粗糙集模型面临着一定的局限和不足,针对这一问题,提出一种混合型信息系统的邻域决策粗糙集模型,并设计出一种矩阵方法的邻域决策粗糙集增量式更新算法.首先,将传统的离散型决策粗糙集模型在混合型信息系统...     

基于邻域近似条件熵的启发式属性约简

目前粗糙集的研究局限于有限集,且现有的邻域粗糙集属性约简算法中属性重要性度量方式单一。针对邻域粗糙集存在的问题,提出了基于无限集的邻域近似条件熵模型。该模型以邻域近似条件熵下的属性重要度为启发条件,构造了一种基于邻域近似条件熵的前向贪心搜索属性约简算法。利用熵的单调性,证明了算法的正确性,并分析了算法的时间复杂度。通过实例分析和多个UCI数据集上的实验表明,所提出的算法是可行的,能有效减少属性数量,与现有的算法相比,不仅能够获得较小的属性约简结果,而且具有较好的分类性能。     

不完备邻域决策粗糙集的最小化代价属性约简算法

目前的决策粗糙集研究主要集中在完备离散型信息系统,很少有对不完备连续型数据进行研究,考虑这一问题,提出一种不完备邻域决策粗糙集模型。首先在不完备连续型数据中引入了不完备邻域关系,然后利用该二元关系对传统的决策粗糙集进行重构,一种称之为不完备邻域决策粗糙集的模型被提出,同时基于决策代价原则,进一步地提出了最小化决策代价的属性约简算法。最后通过实验表明了所提出的算法具有更高的属性约简性能。     

区间值信息系统中基于邻域系统的粗糙集模型

Pawlak经典粗糙集理论主要针对离散值,对复杂现实世界中的区间值却不能有效支持。在区间值信息系统中,基于灰格运算和Hausdorff距离提出了一种区间值的邻域关系。在该邻域关系基础之上,依次提出了基于邻域关系、最大相容类和邻域系统三种灰色粗集模型,提高了近似空间的精确度;同时讨论了三种灰色粗集模型之间的上、下近似空间,并用实例进行分析及验证。     

变精度下不完备邻域决策系统的属性约简算法

邻域粗糙集模型在处理完备的数值型数据中得到广泛应用,但针对不完备的数值型和符号型混合数据进行属性约简的讨论相对较少。为此,首先结合邻域粗糙集给出了可变精度模型下不完备邻域决策系统的上、下近似算子及属性约简;然后通过邻域粒化的方法构建了广义邻域下可变精度的粗糙集模型,并提出了一种属性重要度的评价方法;在此基础上,设计出了面向不完备邻域决策系统的属性约简算法,该算法可直接处理不完备的数值型和符号型混合数据;最后,通过实例分析验证了本文提出的算法能够求解出变精度下不完备邻域决策系统的属性约简结果。     

一种基于信息熵加权的属性约简算法

针对现有邻域粗糙集模型中存在属性权重都相同,无法保证关键属性在属性约简时能够被保留的问题,提出了一种基于信息熵加权的属性约简算法。首先,采用了类间熵、类内熵策略,以最大化类间熵最小化类内熵为原则给属性赋予权重;其次,构造了基于加权邻域关系的加权邻域粗糙集模型;最后,基于依赖关系评估属性子集的重要性,从而实现属性约简。在基于UCI数据集上与其他三种属性约简算法进行对比实验,结果表明,该算法能够有效去除冗余,提高分类精度。     

邻域系统的不确定性度量方法

针对离散型数据系统的不确定性度量方法难以有效解决邻域系统不确定性度量的问题,引入邻域粗糙集模型,提出邻域精确度、邻域知识粒度和基于邻域知识粒度的近似精度等邻域系统不确定性度量方法,进一步从理论上证明其有效性.实验结果表明,基于邻域知识粒度的近似精度具有更严格的单调性,优于邻域近似精度的邻域系统对不确定性度量的效果.