最大局部信息差支持向量机

针对传统支持向量机不能较好地利用数据空间局部信息的问题,提出一种基于局部学习的支持向量机.通过同时最小化局部内散度和最大化局部间散度信息来寻求一个最优的分类决策函数.为了更好地反映数据的局部几何特征,该方法采用适于局部学习的测地线距离来度量数据点对间的相似性.另外,通过引入一个能同时控制间隔误差上界和支持向量下界的参数μ,进一步提升学习泛化能力.人造和实际数据集实验验证了所提出方法的有效性.     

软间隔模糊粗糙支持向量机

分析了硬间隔模糊粗糙支持向量机(FRSVMs)的优点与不足。FRSVMs通过修改硬间隔支持向量机(SVMs)的约束条件提高了泛化能力;FRSVMs虽然将训练样例的条件属性与决策属性之间的不一致性考虑在内,但是在寻找最优超平面时仍然要求将训练集完全正确地分开,因此对噪音具有敏感性。针对FRSVMs的这个缺点,提出了软间隔模糊粗糙支持向量机(C-FRSVMs)。它使用高斯核函数作为模糊相似关系,将数据集中样例的条件属性与决策标签之间的不一致程度考虑在内;在训练寻找最优超平面的过程中允许存在错分点,并对原始最优化问题中训练样例的错分程度进行惩罚;既考虑了间隔最大,又考虑了训练误差最小,从而降低了对噪音的敏感性。实验表明:针对一些数据集,无论其是否存在异常点,C-FRSVMs在测试精度上都可以同时优于硬间隔SVMs、软间隔支持向量机(C-SVMs)和FRSVMs,从而进一步提高了FRSVMs的泛化能力。     

基于加权支持向量机的移动建模方法及其在软测量中的应用

工业过程软测量技术的核心问题是建立软测量模型,然而,利用传统全局建模方法与多 模型建模方法进行复杂工业过程软测量建模时,在不同程度上存在一些问题.本文利用支持向量 机(SVMs)泛化能力强的特点,结合局部加权学习(LWL)算法思想,提出一种适于局部学习的加 权支持向量机(W_SVMs)学习算法和基于这种算法的移动建模方法.利用这种建模方法对Box- Jenkins煤气炉和重油催化裂化(FCCU)装置进行分析建模,并与其它不同建模方法进行比较,显 示了该方法的优点和有效性.     

支持向量机理论及其应用

支持向量机(SVMs,Support Vector Machines)是基于统计学习理论框架下的一种新的通用机器学习方法。它不但较好地解决了以往困扰很多学习方法的小样本、过学习、高维数、局部最小等实际难题,而且具有很强的泛化能力,为解决工业过程控制中存在的问题提供了一种可行的有效途径。     

基于F-SVMs的多模型建模方法

针对全局模型难以精确描述复杂工业过程的问题,提出一种基于模糊支持向量机(F-SVMs)的多模型(F-SVMs MM)建模方法。用模糊支持向量分类算法(F-SVC)对输入数据进行预处理,得到多模型模糊隶属度;用模糊支持回归算法(F-SVR)建立多模型(MM)估计器。应用该方法对pH中和滴定过程进行建模,仿真结果表明,F-SVMs MM跟踪性能好、泛化能力强,比USOCPN方法和标准支持向量机(SVMs)方法具有更好的性能和推广能力。     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

总间隔v-模糊支持向量机研究

为获得更好的分类性能,对传统模糊支持向量机(FSVM)进行扩展,提出一种总间隔v-模糊支持向量机(TM-v-FSVM)。通过使用差异成本及引入总间隔和模糊隶属度,同时解决不平衡训练样本问题和传统软间隔分类机的过拟合问题,从而提升学习机的泛化能力。采用UCI实际数据集进行模式分类实验,结果表明TM-v-FSVM具有稳定的分类性能。     

局部保持对支持向量机

多面支持向量机(multiple surface support vector machine,MSSVM)分类方法作为传统支持向量机(support vector machine,SVM)的拓展在模式识别领域成为新的研究热点之一,然而已有的MSSVM方法并没有充分考虑到训练样本之间的局部几何结构以及所蕴含的判别信息.因此将保局投影(locality preserving projections,LPP)的基本思想引入到MSSVM中,提出局部保持对支持向量机(locality preserving twin support vector machine,LPTSVM).LPTSVM方法不但继承了MSSVM方法具有的异或(XOR)问题处理能力,而且充分考虑样本间的局部几何结构,体现样本间所蕴含的局部判别信息,从而在一定程度上提高了分类精度.主成分分析(principal component analysis,PCA)方法克服了LPTSVM奇异性问题,保证了LPTSVM方法的有效性.非线性情况下,通过经验核映射方法构造了非线性LPTSVM.在人造数据集和真实数据集上的测试表明LPTSVM方法具有较好的泛化性能.     

一种新的孪生大间隔分布机算法

为了提高孪生支持向量机的泛化能力,提出一种新的孪生大间隔分布机算法,以增加间隔分布对于训练模型的影响.理论研究表明,间隔分布对于模型的泛化性能有着非常重要的影响.该算法在标准孪生支持向量机优化目标函数上增加了间隔分布的影响,间隔分布通过一阶和二阶数据统计特征来体现.在标准数据集上的实验结果表明,所提出的算法比SVM、TWSVM、TBSVM算法的分类精确度更高.     

最小类内方差支持向量引导的字典学习

支持向量引导的字典学习算法依据大间隔分类原则,仅考虑每类编码向量边界条件建立决策超平面,未利用数据的分布信息,在一定程度上限制了模型的泛化能力.为解决该问题,提出最小类内方差支持向量引导的字典学习算法.将融合Fisher线性鉴别分析和支持向量机大间隔分类准则的最小类内方差支持向量机作为鉴别条件,在模型分类器的交替优化过程中,充分考虑编码向量的分布信息,保障同类编码向量总体一致的同时降低向量间的耦合度并修正分类矢量,从而挖掘编码向量鉴别信息,使其更好地引导字典学习以提高算法分类性能.在人脸、物体和手写数字识别数据集上的实验结果表明,在大部分样本和原子数量条件下,该算法的识别率和原子鲁棒性均优于K奇异值分解、局部特征和类标嵌入约束等经典字典学习算法.