特征选择算法研究综述

特征选择是当前信息领域,尤其是模式识别领域的研究热点.本文从不同角度对特征选择算法进行分类,概述特征选择技术发展的各个分支及发展态势,指出理论研究和实际应用中所存在的一些困难和亟待解决的问题.然后从算法实用性角度出发,结合机器学习的观点,探讨应用支持向量机技术进行特征选择的研究发展思路.     

高斯核函数选择的广义核极化准则

核函数及其参数的选择是核方法研究中的一个基本却很困难的问题,高斯核是目前各类核方法中最常使用的一种核函数.关于高斯核参数的优化已有很多研究,然而这些方法大多存在时间复杂度高,或是算法实现困难,或是样本数据需服从多元正态分布的前提假设等不足.提出的广义核极化准则可用来解决分类问题中的高斯核参数优化,该准则通过保持类内局部结构信息及中心化核矩阵以更准确地刻画特征空间中类别间的分离度,进而获得更好的高斯核参数来提高分类性能.给出了广义核极化准则对应目标函数的近似最优解的存在唯一性证明,且由于该准则独立于学习算法,因此可用许多成熟的优化算法来寻找最优参数.此外,还补充了已有文献提出的局部核极化准则对应目标函数近似最优解的存在唯一性证明,并且指出该准则是所提出的广义核极化准则的一个特例.针对多分类问题,分别给出广义核极化准则及局部核极化准则的多分类拓展形式.在标准数据集上的实验结果表明所提准则的有效性.     

基于特征距离的组合核矩阵模型选择标准

核矩阵的组合方法是核函数构造和核方法学习的崭新的、重要的方法。目前,组合核矩阵的模型选择标准并不多见,应用较多的是核目标匹配,但该标准并不严格,尚具有较大的冗余性。针对这一问题,本文提出一个有效的基于特征距离的组合核矩阵模型选择标准。本文首先讨论核目标匹配标准及其局限性,然后提出基于特征距离的核矩阵模型型选择标准并分析该标准的计算性能,最后通过实验验证所提出的模型选择标准在核参数选择和组合系数选择两方面的效能。理论分析和实验结果表明,所提出的基于特征距
离的组合核矩阵模型选择标准是合理且有效的。     

基于独立性理论的文本分类特征选择方法

特征与各个文档类在文本集中的独立程度体现了特征的代表性,文本分类的特征选择过程是选择能够提高分类性能的高代表性特征的过程。基于该原理提出DHChi2和EIBA 2种新的文本分类特征选择方法,对这2种方法进行合理的组合。实验结果表明,独立性理论应用于文本分类特征选择有利于提高分类性能。     

基于特征选择的最少核分类器研究

针对支持向量机在特征选择方面具有自动选择的功能,提出了一种改进的最少核分类器。在样本测试中使用更少的特征维数,减少识别过程计算量。数值试验表明,改进过的分类器能有效压缩无用的特征属性,具有较强的泛化能力。     

基于Fisher准则和特征聚类的特征选择

特征选择是机器学习和模式识别等领域的重要问题之一。针对高维数据,提出了一种基于Fisher准则和特征聚类的特征选择方法。首先基于Fisher准则,预选出鉴别性能较强的特征子集,然后在预选所得到的特征子集上对特征进行分层聚类,从而最终达到去除不相关和冗余特征的目的。实验结果表明该方法是一种有效的特征选择方法。     

基于迹比准则与+L-R方法的特征选择算法

提出一种将迹比准则和基于错分区域的+L-R方法相结合的特征选择算法.该算法使用迹比算法得到优秀特征子集,对分类产生的错分区域进行+L-R选择得到新特征,新特征可以区分之前被错分的数据,从而降低错分率.采用+L-R算法降低数据冗余.实验结果表明,该算法有效改进迹比准则特征选择算法,同时降低错分率.     

特征选择方法综述

特征选择作为一个数据预处理过程,在数据挖掘、模式识别和机器学习中有着重要地位。通过特征选择,可以降低问题的复杂度,提高学习算法的预测精度、鲁棒性和可解释性。介绍特征选择方法框架,重点描述生成特征子集、评价准则两个过程;根据特征选择和学习算法的不同结合方式对特征选择算法分类,并分析各种方法的优缺点;讨论现有特征选择算法存在的问题,提出一些研究难点和研究方向。     

基于核空间距离测度的特征选择

提出核空间距离测度这一可分性判据。在核空间中计算两类样本点之间的距离,并以距离的大小评价子集的分类性能。使用顺序前进法作为搜索算法,在人造和真实的数据集上进行测试,文中的核空间距离测度可分性判据明显优于传统非核的可分性判据,优于或接近于Wang提出的核散布矩阵测度,并在运行时间上快一个数量级。将文中方法应用于胰腺内镜超声图像分类,取得较好分类结果。     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

基于核空间类间平均距的径向基函数—支持向量机特征选择算法

SVM-RFE特征选择算法的算法复杂度高,特征选择消耗时间过长,为了缩短特征选择的时间,针对径向基函数—支持向量机分类器提出了依据核空间类间平均距进行特征选择的算法。首先分析了径向基函数核参数与数据集核空间类间平均距之间的关系,然后提出了依据单个特征对数据集的核空间类间平均距的贡献大小进行特征重要性排序的算法,最后用该算法和SVM-RFE算法分别对8个UCI数据集进行了特征选择实验。实验结果证明了该算法的正确性、有效性,而且特征选择的时间与SVM-RFE算法相比大大减小。     

基于机器学习的脑网络分析方法及应用

脑网络学习旨在从整体上研究大脑各功能区的交互,对于人类深入了解大脑功能和结构以及对一些脑疾病的诊断都具有非常重要的作用。作为脑网络分析的重要工具,机器学习由于能够从数据中学习规律并对未知数据进行预测,已成为近年来脑网络分析领域一个新的研究热点。本文综述了近年来基于机器学习技术在脑网络分析中的典型研究方法和应用,主要从网络的构建、特征学习和分类预测等3个方面加以介绍。最后,总结全文并展望未来研究方向。     

一种快速的SVM最优核参数选择方法

支持向量机是一种基于核的学习方法,核函数及核参数的选择直接影响到SVM的泛化能力。传统的参数选择方法如网格搜索法,由于其计算量大,训练过程十分耗时,提出了一种新的快速选择最优核参数方法,该方法通过计算各类别在特征空间的可分性度量值来决定最优核参数,不需训练相应SVM分类模型,从而大大缩减了训练时间,提高了训练速度,且分类精度与传统方法相比,具有相当的竞争力。实验证明,该算法是可行有效的。     

自适应模糊支持向量机算法研究

一个有效的核方法通常取决于选择一个合适的核函数。目前研究核方法的热点是从数据中自动地进行核学习。提出基于最优分类标准的核学习方法,这个标准类似于线性鉴别分析和核Fisher判别式。并把此算法应用于模糊支持向量机多类分类器设计上,在ORL人脸数据集和Iris数据集上的实验验证了该算法的可行性。     

基于核极化的特征选择在LSSVM的应用

为了对最小二乘支持向量机中样本的各个特征的差异性进行研究,引入了多参数高斯核,在分析核极化几何意义的基础上,提出了基于核极化梯度迭代优化多参数高斯核的特征选择算法。利用核极化梯度迭代算法对样本中每个特征的重要性程度进行测定;按特征的重要性大小进行LSSVM样本的特征选择;运用LSSVM对选出的特征子集进行训练和测试,称该方法为KP_LSSVM。UCI数据集上的实验结果表明,相较于PCA_LSSVM、KPCA_LSSVM和LSSVM方法,提出的方法可以取得更为准确的分类结果,验证了该方法的有效性。     

特征加权的核学习方法

提出了一种特征加权的核学习方法,其主要为了解决当前核方法在分类任务中对所有数据特征的同等对待的不足。在分类任务中,数据样本的每个特征所起的作用并不是相同的,有些特征对分类任务有促进作用,应该给予更多的关注。提出的算法集成了多核学习的优势,以加权的方式组合不同的核函数,但所需的计算复杂度更低。实验结果证明,提出的算法与支持向量机、多核学习算法相比,分类准确度优于支持向量机和多核学习算法,在计算复杂度上略高于支持向量机,但远远低于多核学习算法。     

半监督特征选择综述

如何针对半监督数据集,利用不完整的监督信息完成特征选择,已经成为模式识别与机器学习领域的研究热点。为方便研究者系统地了解半监督特征选择领域的研究现状和发展趋势,对半监督特征选择方法进行综述。首先探讨了半监督特征选择方法的分类,将其按理论基础的不同分为基于图的方法、基于伪标签的方法、基于支持向量机的方法以及其他方法;然后详细介绍并比较了各个类别的典型方法;之后整理了半监督特征选择的热点应用;最后展望了半监督特征选择方法未来的研究方向。     

基于Relief特征选择的心衰死亡率预测

提出心衰死亡率预测系统,预测心衰病人本次住院后30天内死亡率。基于上海曙光医院提供的心衰病人信息,首先对原始数据和特征进行预处理。由于特征的冗余性,再选用经典的Relief特征选择算法筛选出重要的心衰特征,最后选用bp-SVM算法来实现死亡率预测。实验结果证明,死亡率预测系统可以达到较高的性能并通过提供决策信息,辅助医生治疗病人。医生可以根据系统预测的病人死亡率的高低,采取不同的治疗方式,提高临床诊断结果和医院的资源分配。     

集成优化核极限学习机的冠心病无创性诊断

冠心病的早期无创性诊断一直是医疗诊断领域的研究热点,为了提高冠心病诊断的准确率和诊断效率,提出了一种新颖的局部Fisher判别分析(LFDA)特征提取方法和集成核极限学习机(KELM)相结合的冠心病诊断模型(LFDA-EKELM)。首先使用LFDA方法剔除不相关特征和冗余特征,找出对分类结果贡献度较高的特征子集,产生不同的训练集以训练粒子群优化的KELM分类器PSO-KELM,并基于旋转森林(RF)构建集成分类器,实现冠心病的智能诊断。实验结果表明,与基于ELM、SVM和BPNN方法相比,提出方法有效提高了冠心病诊断准确率,提升了诊断效率,且分类结果高于已有方法和相似方法,是一种有效冠心病诊断模型。