无参数鲁棒线性规划支持向量机分类的牛顿法

Mangasarian最近提出的用于分类的无参数鲁棒线性规划支持向量机克服了标准支持向最机的一些缺点，而且模型简单，容易实现。该文讨论了这种新型支持向最机的线性规划问题的最小2-范数解，在此基础上给出了一个快速的牛顿算法。     

有效的ν支持向量回归机的ν解路径算法?

由 Sch?lkopf 等人提出的ν支持向量回归机具有通过参数ν控制支持向量和错误向量个数的优点,然而与标准的支持向量机相比,其形式更为复杂,迄今为止仍没有有效的算法计算ν解路径.基于ν支持向量回归机的修改形式,提出了一种新的解路径算法,它能够追踪参数ν对应的所有解,并通过理论分析和实验,说明了该算法能够尽可能地避免不可行的更新路径,并在有限步内拟合出所有的ν解路径.     

线性支持向量机优化问题的一种光滑算法

线性支持向量机的无约束优化模型的目标函数不是一个二阶可微函数,因此不能应用一些快速牛顿算法来求解。提出了目标函数的一种光滑化技巧,从而得到了相应的光滑线性支持向量机模型,并给出了求解该光滑线性支持向量机模型的Newton-Armijo算法,该算法是全局收敛的和二次收敛的。     

近轴支持向量机及其在网络知识更新中的应用

在以往工作的基础上对近轴支持向量机进行了研究,推导了基于高斯核函数的非线性近轴支持向量机的增量式算法。通过仿真实验验证了在网络故障知识更新的应用中,近轴支持向量机的增量式算法比一般支持向量机的增量式算法更加快速有效。     

用SVM和LS-SVM分析变压器故障诊断

介绍并比较了支持向量机分类器和最小二乘支持向量机分类器的算法,提出了基于支持向量机的二叉树多分类变压器故障诊断模型.将标准支持向量机(C-SVM)分类器和最小二乘支持向量机(LS-SVM)分类器分别用于变压器故障诊断,通过网格搜索和交叉验证法取得支持向量机的参数,准确率较高.试验结果表明,支持向量机和最小二乘支持向量机在变压器故障诊断中具有很大的应用潜力.     

支持向量机(SVM)的研究进展

介绍了基于分解思想的支持向量机的训练算法,主要有两大类:块算法和固定工作样本集算法及其对应的快速算法SVM-light、SMO、BSVM和LIBSVM;介绍了支持向量机的变形算法、多类分类算法及模型选择问题;并且对近年来支持向量机在实际中的应用做了简要介绍,最后讨论了支持向量机亟待解决的问题并对其发展进行了展望.     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

模糊支持向量机的训练算法研究

支持向量机(support vector machine,SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域.并且传统的支持向量机由于噪音教据的存在而易出现过学习现象,因而有必要消除噪音的影响.基于以上考虑,提出了一种模糊支持向量机模型.本论文主要针对该类型的模糊支持向量机进行研究.     

基于鲁棒小波ν-支持向量机的产品销售预测模型

针对产品销售时序具有正态高斯分布、幅值较大、奇异点等混合噪音, 设计一种鲁棒损失函数, 并采用小波核函数, 由此得到一种新的小波ν-支持向量机, 即鲁棒小波ν-支持向量机(Robust wavelet ν-support vector machine, RWν-SVM). 它可以有效地压制销售时序的多种噪音和奇异点, 具有很强的鲁棒性, 而且它比标准小波ν-支持向量机(Wν-SVM)具有更简洁的对偶优化问题. 最后进行了汽车销售预测的实例分析, 结果表明基于RWν-SVM的预测模型是有效可行的.     

距离加权极端支持向量机

由于极端支持向量分类机（ESVM）在对样本进行分类时并没有考虑到数据集中样本点的分布情况,对所有样本点的误差项都给予了相同的惩罚因子,使得分类器的分类效果很容易受到噪声、野值数据的干扰,针对这个问题,在ESVM的基础上提出了一种基于距离加权的极端支持向量机（WESVM）。由于不同的样本到其类中心距离的不同,因此对不同的样本给予不同的权重。分类实验结果表明WESVM与ELM、ESVM相比具有更好的分类精度。     

Powell算法在线性支持向量机中的应用

并行下降方法应用于线性支持向量机时效率较低。针对该问题,提出将Powell算法应用于线性支持向量机,并采用一个全局牛顿算法来求解单变量子问题。在内循环过程中,通过解一个单变量子问题更新w的一个分量,同时固定其他的分量不变;在外循环过程中,根据判断条件,决定是否沿加速方向搜索,以及是否用加速方向替代之前的某一个搜索方向。UCI数据集上的实验结果表明,算法能很快收敛,且分类精度优于并行下降算法和光滑支持向量机。     

面向脑电情感识别的改进多分类RVM模型研究

从相关向量机（RVM）和支持向量机（SVM）的相似性以及RVM的稀疏特性出发，将RVM应用于脑电信号（EEG）的情感识别中。针对一对一（OAO）和一对多（OAA）两种多分类方法各自的特点和不足，提出了一种全新的两层多分类模型（OAA-OAO），改进现有OAO算法中无效投票影响最终决策的现象。设计情感EEG信号识别对比实验，验证基于RVM的改进多分类算法在脑电信号情感识别中的应用。对于实验室采集的情感脑电信号，提取其非线性特征（功率谱熵、样本熵和Hurst指数）并采用主成分分析法进行降维。将OAA-OAO-RVM算法分别和OAO-SVM、OAO-RVM两种识别网络进行对比，分析RVM的识别性能以及OAA-OAO多分类算法的分类性能。结果表明，采用降维后的最优特征集合作为识别网络的输入向量得到的识别性能更高，且RVM表现出的性能优于SVM。同时，改进后的OAA-OAO算法较传统OAO模型的平均识别率提高了7.89%，证明OAA-OAO算法可有效去除一部分无效投票从而使分类精度得到显著提高，验证了此模型是一种有效的多分类模型。     

基于局部二元模式的面部表情识别研究

提出了一种基于局部二元模式（Local Binary Pattern,LBP）与支持向量机（SVM）相结合的面部表情识别方法。使用LBP算子对图像进行处理,对图像的模式进行统计形成面部表情特征;使用线性判别分析对表情特征进行降维处理;采用支持向量机对面部表情进行分类。用Matlab实现了上述方法,并在日本女性人脸表情（JAFFE）数据库上测试,取得了70.95%的识别率。     

基于保局部核RVM的说话人识别方法

针对说话人语音特征随音量、情绪、健康等因素变化呈现出的复杂分布结构,提出一种基于保局部核相关向量机(RVM)的说话人识别方法。在RVM模型所采用的高斯核函数中引入相似度因子,以保留数据局部结构,构成保局部核RVM模型。在模型训练过程中采用快速算法以避免大型矩阵逆操作,减少计算量,可适用于大样本场合。应用结果表明,该方法能加快测试速度,提高分类精度。     

基于VQ-MAP和SVM融合的说话人识别系统

针对传统支持向量机（SVM）在说话人识别中运算量过大的问题,提出了VQ-MAP和SVM融合的说话人识别系统。它应用仅自适应均值向量的最大后验概率矢量量化过程（VQ-MAP）,来得到自适应的说话人模型,用此模型中的参数向量作为支持向量应用于SVM来进行说话人识别。用Matlab进行仿真实验,结果表明,基于VQ-MAP和SVM融合的说话人识别系统大大降低了运算量,SVM训练时间短,且具有较高的识别率。     

基于EMD和SVM的虹膜识别方法

在目前的生物特征识别方法中,虹膜识别被认为是最可靠的技术。提出一种基于经验模态分解和支持向量机的虹膜识别方法——EMD提取虹膜特征,SVM实现模式匹配。实验结果表明,该方法能够有效地应用到身份鉴别系统中。     

基于聚类和支持向量机的入侵检测研究

提出了一种基于聚类和支持向量机的入侵检测算法，该算法可以有效地减小计算复杂性，提高检测性能。算法首先使用K-MEANS聚类算法对数据做一个初步的划分得到多个类；然后考察每个类中数据的标识，只有当类中的数据标识不止一个时才进行支持向量的查找。最后使用KDD CUP 1999进行了计算机仿真实验，实验结果说明了该算法的有效性。     

基于类边界壳向量的快速SVM增量学习算法

为进一步提高SVM增量训练的速度,在有效保留含有重要分类信息的历史样本的基础上,对当前增量训练样本集进行了约简,提出了一种基于类边界壳向量的快速SVM增量学习算法,定义了类边界壳向量。算法中增量训练样本集由壳向量集和新增样本集构成,在每一次增量训练过程中,首先从几何角度出发求出当前训练样本集的壳向量,然后利用中心距离比值法选择出类边界壳向量后进行增量SVM训练。分别使用人工数据集和UCI标准数据库中的数据进行了实验,结果表明了方法的有效性。     

一种无约束凸规划多平面修正TWSVM

对支持向量机（Twin Support Vector Machine,TWSVM）的优化思想源于基于广义特征值近似支持向量机（Proximal SVM based on Generalized Eigenvalues,GEPSVM）。该算法将传统SVM问题分解为两个凸规划问题,使得训练速度缩减到原来的1/4。对TWSVM做了修正,基于新的优化准则设计了一种特殊TWSVM（GTWSVM）,在此基础上,提出了快速GTWSVM（FGTWSVM）,其将GTWSVM转换为无约束凸规划问题求解。该算法在保证得到与TWSVM相当的分类性能以及较快的计算速度的同时,还减少了输入空间的特征数以及内存占用。对于非线性问题,FGTWSVM可以减少核函数数目。