基于加速遗传算法的选择性支持向量机集成*

为有效提升支持向量机的泛化性能,提出基于加速遗传算法的选择性支持向量机集成。通过Bootstrap技术产生并训练得到多个独立子SVM,基于负相关学习理论构造适应度函数,提高子SVM的泛化性能,并增大其之间差异度。利用加速遗传算法计算各子SVM在加权平均中的最优权重,然后选择权值大于一定阈值的部分SVM进行加权集成。实验结果表明,该算法是一种有效的集成方法,能进一步提高SVM的集成效率和泛化性能。     

基于粗集理论的选择性支持向量机集成

集成分类器的性能很大程度决定于各成员分类器的构造和对各成员分类器的组合方法。提出一种基于粗集理论的选择性支持向量机集成算法,该算法首先利用粗集技术产生一个属性约简集合,然后以各约简集为样本属性空间构造各成员分类器,其次通过对各成员分类器精度与差异度的计算,选择既满足个体的精度要求,又满足个体差异性要求的成员分类器进行集成。最后通过对UCI上一组实验数据的测试,证实该方法能够有效提高支持向量机的推广性能。     

基于约束投影的支持向量机选择性集成

提出两种基于约束投影的支持向量机选择性集成算法。首先利用随机选取的must-link和cannot-link成对约束集确定投影矩阵,将原始训练样本投影到不同的低维空间训练一组基分类器;然后,分别采用遗传优化和最小化偏离度误差两种选择性集成技术对基分类器进行组合。基于UCI数据的实验表明,提出的两种集成算法均能有效提高支持向量机的泛化性能,显著优于Bagging,Boosting,特征Bagging及LoBag等集成算法。     

基于差分进化算法的支持向量机参数选择

支持向量机参数是影响其性能的重要因素,为了进一步提高支持向量机分类精度和泛化能力,提出了基于差分进化算法的SVM参数选择。以样本误判率最小为优化准则,利用差分进化算法对SVM参数进行优化选择。实验结果表明,利用差分进化算法选择SVM参数,加快了参数搜索的速度,提高了SVM分类精度,该方法具有良好的鲁棒性和较强的全局寻优能力。     

基于双重扰动的选择性支持向量机集成

为了进一步提升支持向量机泛化性能,提出一种基于双重扰动的选择性支持向量机集成算法。利用Boosting方法对训练集进行扰动基础上,采用基于相对核的粗糙集相对约简与重采样技术相结合的动态约简算法进行特征扰动以生成个体成员,然后基于负相关学习理论构造遗传个体适应度函数,利用加速遗传算法选择权重大于阈值的最优个体进行加权集成。实验结果表明,该算法具有较高的泛化性能和较低的时、空复杂性,是一种高效的集成方法。     

基于差分进化算法的支持向量回归机参数优化

支持向量机是结构风险最小化原理的一种新型学习技术,被广泛应用到很多工业控制领域中,良好的泛化能力和预测精度在很大程度上受到参数选取的影响.传统参数选择方法易陷入局部最优,为提高优化识别参数的精度和效率,提出基于差分进化算法的支持向量回归机参数优化算法.以均方误差最小为优化准则,差分进化算法的全局寻优能力,搜索支持向量回归机的最优参数组合,达到对参数的最优选择.通过Matlab进行仿真实验,结果表明改进的算法不仅加快参数搜索和优化的速度,而且选择的最优参数能大大提高支持向量机预测精度和泛化能力,并具有良好的鲁棒性和较强的全局寻优能力.     

支持向量机算法和软件ChemSVM介绍

Vladimir N.Vapnik等提出的统计学习理论（statistical learning theory，简称SLT）和支持向量机（support vector machine,简称SVM）算法已取得令人鼓舞的研究成果。本文旨在对这一新理论和新算法的原理作一介绍，并展望这一计算机学界的新成果在化学化工领域的应用前景，“ChemSVM”软件提供了通用的支持向量机算法，并将其与数据库，知识库，原子参数及其他数据挖掘方法有机地集成起来。     

基于集成学习支持向量机的步态识别

提出一种基于Bagging算法和SVM的步态识别方法。首先应用背景差分法分割出运动人体轮廓,然后将人体分为多个可变区域,并通过计算获取特征向量。采用SVM分类器进行分类识别,为了提高SVM的识别率,采用Bagging算法对分类结果进行分类集成,实验结果表明,该算法取得了很好地识别性能。     

基于支持向量机集成的故障诊断

为提高故障诊断的准确性,提出了一种基于遗传算法的支持向量机集成学习方法,定义了相应的遗传操作算子,并探讨了集成下的分类器的构造策略。对汽轮机转子不平衡故障诊断的仿真实验结果表明,集成学习方法的性能通常优于单个支持向量机,而所提方法性能则优于Bagging与Boosting等传统集成学习方法,获得的集成所包括的分类器数目更少,而且结合多种分类器构造策略可提高分类器的多样性。该方法能容易地推广到神经网络、决策树等其他学习算法。     

基于启发式算法的混沌支持向量机流量预测

针对现有混沌支持向量机回归模型存在流量预测效率低下的问题,利用差分进化(DE)算法、遗传算法和粒子群优化算法确定模型的径向基核函数系数、惩罚系数、不敏感系数等参数,在此基础上建立改进的混沌支持向量机回归模型进行流量预测。实例表明,相比其他启发式算法,DE算法能以较高的效率搜索到混沌支持向量机回归模型的最优参数,并且该模型具有较高的预测精度。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

多分类器选择集成方法

针对目前人们对分类性能的高要求和多分类器集成实现的复杂性,从基分类器准确率和基分类器间差异性两方面出发,提出了一种新的多分类器选择集成算法。该算法首先从生成的基分类器中选择出分类准确率较高的,然后利用分类器差异性度量来选择差异性大的高性能基分类器,在分类器集成之前先对分类器集进行选择获得新的分类器集。在UCI数据库上的实验结果证明,该方法优于bagging方法,取得了很好的分类识别效果。     

一种选择性GMDH网络集成算法

提出一种新的GMDH网络的选择性集成算法,通过对构造GMDH网络个体的训练样本进行惩罚性划分,产生具有差异性的GMDH网络集合,再利用遗传算法从中选择最优GMDH网络子集进行集成。实验结果与分析表明,与GMDH网络的整体集成和单个GMDH网络以及传统的BP神经网络集成相比,GMDH网络的选择性集成在性能上具有明显的优势。     

选择性聚类融合新方法研究

针对传统选择性聚类融合算法不能消除劣质聚类成员的干扰以及聚类准确性不高等问题,提出了一种新的选择性加权聚类融合算法。算法中提出了基于聚类有效性评价方法的参照成员选择方法和联合聚类质量以及差异度的选择策略,然后还提出了基于容错关系信息熵的属性重要性加权方法。新算法有效地克服了传统选择性聚类融合算法的缺点,消除了劣质聚类成员的干扰,提高了聚类的准确性。大量的对比实验结果表明了算法的有效,且性能显著提高。     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

一种SVM非线性回归算法

提出了一种新的基于分类的SVM非线性回归算法（CSVR）,首先将Y扩展为Y＋ε和Y-ε两个数据集,再将n维输入空间X中的数据连同Y＋ε和Y-ε组成n＋1维空间χ中的两类数据,并用Z∈（＋1,-1）来标识两类数据,再利用标准的SVM二分类算法求解。利用该算法对一系列的基准函数进行测试,取得了令人满意的结果。该算法对噪声数据不敏感,具有较好的鲁棒性,并且可以根据实际需要设定ε的大小,防止出现过拟合现象。该算法由于不需要先验地建立一个参数未知的回归模型,因此可以用在其他传统统计回归算法失效的场合。     

一种快速SVM学习算法

在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。