改进遗传算法和支持向量机的特征选择算法

提出了一种基于改进遗传算法的特征选择算法。该算法以支持向量机分类器的识别率作为特征选择的可分性判据,对传统遗传算法的交叉和选择操作进行了改进,实现了指定数目的特征选择。而且算法在特征选择的过程中,还同时优化了支持向量机分类器的两个参数。实验数据的特征选择实验表明,提出的算法仅以损失2.7%识别率的代价,得到的特征维数却是传统遗传算法的1/5,极大地简化了分类器设计的复杂度。     

一种基于支持向量机的特征选择算法

当特征集合存在强相关的特征子集且共同对分类问题有重要贡献时,传统方法通常从该子集中随机选择一个特征,导致数据可读性和分类性能下降.为此,面向多分类问题,提出一种基于支持向量机的特征选择算法,并设计一种快速迭代算法.该算法能够自动选择或剔除强相关的特征子集,在得到有效特征的同时实现特征降维.利用人工数据集和标准数据集进行试验,结果表明文中算法在特征选择可行性和有效性方面都有良好表现.     

基于二次特征选择和支持向量机的面部表情识别

提出了一种旨在减少支持向量机的训练量和提高特征有效性的表情识别算法。使用排序PCA LDA得到最优表情向量;使用模糊核聚类进行有效数据集约简,构建二叉决策树训练支持向量机。在JAFFE数据库上的识别结果优于其它几种算法,在保证识别率的同时缩短了训练时间。     

基于核空间类间平均距的径向基函数—支持向量机特征选择算法

SVM-RFE特征选择算法的算法复杂度高,特征选择消耗时间过长,为了缩短特征选择的时间,针对径向基函数—支持向量机分类器提出了依据核空间类间平均距进行特征选择的算法。首先分析了径向基函数核参数与数据集核空间类间平均距之间的关系,然后提出了依据单个特征对数据集的核空间类间平均距的贡献大小进行特征重要性排序的算法,最后用该算法和SVM-RFE算法分别对8个UCI数据集进行了特征选择实验。实验结果证明了该算法的正确性、有效性,而且特征选择的时间与SVM-RFE算法相比大大减小。     

基于改进的F-score与支持向量机的特征选择方法

将传统F-score度量样本特征在两类之间的辨别能力进行推广,提出了改进的F-score,使其不但能够评价样本特征在两类之间的辨别能力,而且能够度量样本特征在多类之间的辨别能力大小。以改进的F-score作为特征选择准则,用支持向量机(SVM)评估所选特征子集的有效性,实现有效的特征选择。通过UCI机器学习数据库中六组数据集的实验测试,并与SVM、PCA+SVM方法进行比较,证明基于改进F-score与SVM的特征选择方法不仅提高了分类精度,并具有很好的泛化能力,且在训练时间上优于PCA+SVM方法。     

支持向量机的算法及应用

统计学习理论是由Vapnik建立的一种专门研究小样本情况下机器学习规律的理论,支持向量机（SVM）是在这一理论基础上发展而来的一种新的通用学习方法。目前SVM已成为国际上机器学习领域新的研究热点,本文是一篇综述,旨在介绍SVM的一般理论、算法及应用,以引起国内学者的进一步关注。     

改进的支持向量机分类算法

在研究了标准SVM分类算法后,本文提出了一种快速的支持向量机分类方法.该方法通过解决两类相关的SVM问题,找到两个非平行的平面,其中每个平面靠近其相应的类样本点,远离另一类样本点,最后通过这两个平面找到一个将两类样本分开的最优平面.在处理非线性情况下,引入一种快速核函数分类方法.使用该算法可以使分类的速度得到很大提高,针对实际数据集的实验表明了该算法的有效性.     

一种改进的支持向量机学习算法

分析支持向量机的几种常用的训练方法,在这个基础上提出一种改进的支持向量机学习方法。该方法将违反KKT条件程度最厉害的样本提取出来,然后缓存这些样本,作为工作集的选择范围,而且根据训练时缓存的特点,在缓存的替换上给出一种新的方法。该方法提高核缓存的命中率,减少工作集选择的代价,从而减少训练时间。实验表明,该方法能够很好地提高支持向量机的训练速度。     

一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

基于特征子集区分度与支持向量机的特征选择算法

考虑特征之间的相关性对于其类间区分能力的影响,提出了一种新的特征子集区分度衡量准则——DFS(Discernibility of Feature Subsets)准则.该准则考虑特征之间的相关性,通过计算特征子集中全部特征对于分类的联合贡献来判断特征子集的类间辨别能力大小,不再只考虑单个特征对于分类的贡献.结合顺序前向、顺序后向、顺序前向浮动和顺序后向浮动4种特征搜索策略,以支持向量机(Support Vector Machines,SVM)为分类工具,引导特征选择过程,得到4种基于DFS与SVM的特征选择算法.其中在顺序前/后向浮动搜索策略中,首先根据DFS准则加入/去掉特征到特征子集中,然后在浮动阶段根据所得临时SVM分类器的分类性能决定刚加入/去掉特征的去留.UCI机器学习数据库数据集的对比实验测试表明,提出的DFS准则是一种很好的特征子集类间区分能力度量准则;基于DFS与SVM的特征选择算法实现了有效的特征选择;与其他同类算法相比,基于DFS准则与SVM的特征选择算法具有非常好的泛化性能,但其所选特征子集的规模不一定是最好的.     

基于自适应遗传算法和SVM的特征选择

针对传统风险辨识方法无法实现盾构隧道施工过程中的风险状态实时识别的问题,提出一种自适应遗传算法和支持向量机结合的特征选择方法(AGASVM),筛选出与施工质量风险关系最为密切的关键特征集。实验结果表明,用AGASVM所获得的关键特征集用于施工风险状态实时识别的分类准确率较高。其特征集规模比原始特征集有明显缩减,而且绝大部分关键特征与领域专家的意见是吻合的。     

融合序列后向选择与支持向量机的混合式特征选择算法

维度灾难是机器学习任务中的常见问题,特征选择算法能够从原始数据集中选取出最优特征子集,降低特征维度.提出一种混合式特征选择算法,首先用卡方检验和过滤式方法选择重要特征子集并进行标准化缩放,再用序列后向选择算法（SBS）与支持向量机（SVM）包裹的SBS-SVM算法选择最优特征子集,实现分类性能最大化并有效降低特征数量.实验中,将包裹阶段的SBS-SVM与其他两种算法在3个经典数据集上进行测试,结果表明,SBS-SVM算法在分类性能和泛化能力方面均具有较好的表现.     

一种新的核化SVM多层分类方法

利用核化思想提出了一种新的SVM多层分类算法。该算法的基本思路是：先利用Mercer核,将输入空间非线性可分的训练样本映射到高维特征空间Hilbert中,使之线性可分,然后采用最小超球体类包含作为层次分类的依据来生成二叉决策树,从而实现在高维空间中的多类分类。实验表明,采用该算法进行多类分类,可以有效地解决输入空间非线性可分问题,并可在一定程度上提高分类器的分类精度。     

基于人工免疫的支持向量机模型选择算法

支持向量机中参数设置对训练支持向量机分类的精确度有不可忽视的影响。支持向量机参数的选取可看作参数的组合优化。免疫算法是一种有效的随机全局优化技术,它具有不易陷入局部最优解、解精度高、收敛速度快等优点。该文利用人工免疫算法进行支持向量机模型选择。该算法主要包括克隆选择、高频变异、受体编辑等操作。试验证明,该算法能够有效提高支持向量机分类的正确性。     

基于混沌遗传算法的SVM特征和参数优化

为解决支持向量机(SVM)分类器的样本特征选择和参数优化问题,提出一种将特征选择和参数选择进行联合优化的方法。基于变尺度的混沌遗传算法,联合优化染色体编、译码,利用混沌的遍历性产生初始种群,改进遗传算法中的交叉算子,动态缩减寻优区间。将该方法应用于短波通信控制器的诊断分类器中,以实现分类器特征子集选取和参数的联合优化,结果表明该方法具有较强的寻优能力。     

基于支持向量机的英语名词短语指代消解

提出一种基于支持向量机（SVM）的英语名词短语的指代消解方法,并给出具体实现系统。实验采用了几个常用的基本特征,在MUC-6公开语料上测试得到的F值为68．6,优于同类型的其他原型系统。分析SVM中不同核函数对分类结果的影响以及不同的特征对指代消解的作用。实验结果表明,同位语、别名和字符串匹配3个特征对指代消解非常重要,距离作为特征使用时对指代消解没有帮助,但可在训练样例生成时作为限制条件来使用。     

基于GPU和特征选择的SVM入侵检测模型

基于支持向量机的入侵检测模型检测效率较低,为此,提出一种基于图形处理器(GPU)和特征选择的入侵检测模型。在入侵检测过程中,采用基于GPU的并行计算模型进行训练,并对样本的特征进行合理选择,从而提高检测效率。实验结果表明,在保证系统性能的情况下,该模型可以缩短训练时间。     

基于几何判据的SVM参数快速选择方法

支持向量机中核函数及其参数的选择具有重要意义。提出一种基于高斯核函数的支持向量机参数对快速求取方法,根据支持向量之间的几何判据,结合线性搜索法完成参数寻优,具有简单、计算量小、易于实现的优点。实验结果表明,该方法较好地解决了高斯核函数参数在实际使用中不易确定的问题,且运算速度高于原有方法。     

一种提高支持向量机性能的特征选择新方法

利用支持向量机进行模式分类时,特征选择是数据预处理的一项重要内容。有效的特征选择在很大程度上影响着分类器的性能。根据样本各特征分量的均值与方差对分类的影响,提出根据分类权值进行特征选择,以提高支持向量机性能的简便方法,制定了两个具体实施方案。在三个常用数据集上进行了仿真实验,结果验证了方法的有效性。