最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

基于模糊聚类的稳健支撑向量回归机及火焰图像处理

由于离群点会降低支撑向量回归机的性能,因此为了提高支撑向量回归机的图像处理性能,提出了一种具有抗离群点性能的模糊稳健支撑向量回归机（FRSVR）,并首先给出了在任意代价函数下支撑向量回归机的求解方法;然后讨论了构建稳健支撑向量机的代价函数所需的性质,并在此基础上,引入了损失代价函数族;接着根据支撑向量回归机的训练误差,用模糊C均值聚类（FCM）查找离群点;最后通过迭代的方法实现了模糊稳健支撑向量回归机。为了对火焰图像进行有效处理,还将FRSVR算法应用于乳化油燃烧火焰图像处理,以去除火焰图像上的离群点。实验结果表明,FRSVR算法处理图像的性能优于ε-SVR算法和自适应SVR滤镜（ASBF）,不仅能有效地查找离群点,而且可去除较大的离群点区域,还能显著的降低离群点的影响,并具有良好的泛化性能。     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

多项式光滑的支撑向量机

数据分类问题是数据挖掘研究的一个热门课题．它是根据对数据样本集合建模,得到最优的分类器,从而可以对未知数据进行分类．支撑向量机是二分类问题的一个分类模型,模型的结果表现为支撑向量．Lee和Mangasarian在2001年提出了使用Sigmoid函数的积分函数作光滑的支撑向量机模型SSVM．该文研究了用多项式函数作光滑的支撑向量机(PSSVM)模型,并提出了两个用于光滑多项式的函数．根据模型特点,应用BFGS方法以及Newton Armijo方法进行求解,数值实验结果表明PSSVM模型在分类性能上优于SSVM模型．     

基于扩展SMO求解核函数非正定的SVR模型算法

将求解SVC模型的算法运用到求解SVR模型中一般要SVR模型的核函数正定且满足Mercer条件,而实际应用中利用几何框架将SVC模型转换成相应的SVR模型时,通常无法保证经转换得到的SVR模型的核函数具有正定性,从而导致SVR模型不是凸规划模型而无法求解。为解决上述问题,本文提出了一种运用扩展的序列最小最优化方法(SMO)来求解基于非正定核的SVR模型,设计了算法中工作集的选择准则,解决了算法中如何选择工作集变量当前的最优值问题。由于该算法不要求核函数具有正定性,从而拓宽了SVR模型核函数的选择范围。实验表明,该算法对基于正定或非正定核的SVR模型都具有很好的泛化性能和回归精度,具有一定的理论意义和实用价值。     

一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...     

基于近似高斯核显式描述的大规模SVM求解

大规模数据集上非线性支持向量机(support vector machine,SVM)的求解代价过高,然而对于线性SVM却存在高效求解算法.为了应用线性SVM高效求解算法求解非线性SVM,并保证非线性SVM的精确性,提出一种基于近似高斯核显式描述的大规模SVM求解方法.首先,定义近似高斯核并建立其与高斯核的关系,推导近似高斯核与高斯核的偏差上界.然后给出近似高斯核对应的再生核希尔伯特空间(reproducing kernel Hilbert space,RKHS)的显式描述,由此可精确刻画SVM解的结构,增强SVM方法的可解释性.最后显式地构造近似高斯核对应的特征映射,并将其作为线性SVM的输入,从而实现了用线性SVM算法高效求解大规模非线性SVM.实验结果表明,所提出的方法能提高非线性SVM的求解效率,并得到与标准非线性SVM相近的精确性.     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

基于FA-SVR的丙酮精制产品质量软测量模型

针对某丙酮精制过程,提出采用FA与SVR相结合的方法建立丙酮产品质量的软测量模型。采用因子分析(FA)方法提取辅助变量的特征信息,并消除各变量之间的相关性,然后利用支持向量回归(SVR)建立丙酮产品质量指标的软测量模型。在实际生产过程数据上进行了仿真实验,并与传统的稳健回归分析及神经网络等方法进行了比较,结果表明本方法具有良好的预测效果。     

SVR参数对非线性函数拟合的影响

对基于径向基函数(RBF)的支持向量回归(SVR)模型参数的理论研究与实验论证结果表明,惩罚系数、不敏感损失函数的宽度以及核函数参数对非线性函数拟合精度均有影响,给出SVR参数的经验范围以减小人工选择SVR参数的盲目性,并通过缩小参数优化算法的搜索区间,降低算法的整体时间复杂度和空间复杂度。     

一种数据域描述的加权支持向量回归算法

针对支持向量回归中由于噪声和孤立点带来的过拟合问题,提出了一种基于支持向量数据域描述的加权系数函数模型,根据样本到特征空间最小包含超球球心的距离来确定其加权系数。将提出的加权系数模型用于加权支持向量回归中,一维数据集仿真表明,提出的模型可以有效减小回归误差,提高支持向量回归算法的抗噪声能力。     

Robust support vector regression networks for function approximation with outliers

Support vector regression (SVR) employs the support vector machine (SVM) to tackle problems of function approximation and regression estimation. SVR has been shown to have good robust properties against noise. When the parameters used in SVR are improperly selected, overfitting phenomena may still occur. However, the selection of various parameters is not straightforward. Besides, in SVR, outliers may also possibly be taken as support vectors. Such an inclusion of outliers in support vectors may lead to seriously overfitting phenomena. In this paper, a novel regression approach, termed as the robust support vector regression (RSVR) network, is proposed to enhance the robust capability of SVR. In the approach, traditional robust learning approaches are employed to improve the learning performance for any selected parameters. From the simulation results, our RSVR can always improve the performance of the learned systems for all cases. Besides, it can be found that even the training lasted for a long period, the testing errors would not go up. In other words, the overfitting phenomenon is indeed suppressed.     

一种基于SVR几何校正的数字水印检测算法

以回归型支持向量机（SVR）理论基础,提出了一种可有效抵抗几何攻击的图像水印检测新算法.该算法首先选取图像的组合矩作为特征向量,并通过SVR对旋转、缩放、平移等几何变换参数进行训练学习,以获得SVR训练模型;然后利用SVR训练模型对待检测图像进行数据预测,并结合预测输出结果对其进行几何校正;最后从已校正数字图像内提取出水印信息.仿真实验结果表明,本文算法对常规信号处理（滤波、叠加噪声、JPEG压缩等）和几何攻击（旋转、缩放、平移、剪切等）均具有较好的鲁棒性。     

求解非线性回归问题的Newton算法

针对大规模非线性回归问题,提出基于静态储备池的Newton算法.利用储备池搭建高维特征空间,将原始问题转化成与储备池维数相关的线性支持向量回归问题,并应用Newton算法求解.鲁棒损失函数的应用可抑制异常点对预测结果的干扰.通过与SVR(Support Vector Regression)及储备池Tikhonov正则化方法比较,验证了所提方法的快速性、较高的预测精度和较好的鲁棒性.     

Adaptive annealing learning algorithm-based robust wavelet neural networks for function approximation with outliers

In this study, a robust wavelet neural network (WNN) is proposed to approximate functions with outliers. In the proposed methodology, firstly, support vector machine with wavelet kernel function (WSVM) is adopted to determine the initial translation and dilation of a wavelet kernel and the weights of WNNs. Then, an adaptive annealing learning algorithm (AALA) is adopted to accommodate the translations, the dilations, and the weights of the WNNs. In the learning procedure, the AALA is proposed to overcome the problems of initialization and the cut-off points in the robust learning algorithm. Hence, when an initial structure of the WNNs is determined by a support vector regression (SVR) approach, the WNNs with AALA (AALA-WNNs) have fast convergence speed and can robust against outliers. Two examples are simulated to verify the feasibility and efficiency of the proposed algorithm.     

基于改进的LSSVM辨识动态非线性时变系统

针对非线性时变系统难以辨识的问题,提出了一种基于改进最小二乘支持向量机的辨识新方法。该方法在加权最小二乘支持向量机的基础上,引入用矢量基学习和自适应迭代相结合的方式得到一个小的支持向量,同时采用加权方法确定权值系数以减小训练样本中非高斯噪声的影响。通过对动态非线性时变系统的仿真,结果表明该算法具有较好的鲁棒性、支持向量稀疏性和动态建模实时性。     

Hybrid robust support vector machines for regression with outliers

In this study, a hybrid robust support vector machine for regression is proposed to deal with training data sets with outliers. The proposed approach consists of two stages of strategies. The first stage is for data preprocessing and a support vector machine for regression is used to filter out outliers in the training data set. Since the outliers in the training data set are removed, the concept of robust statistic is not needed for reducing the outliers’ effects in the later stage. Then, the training data set except for outliers, called as the reduced training data set, is directly used in training the non-robust least squares support vector machines for regression (LS-SVMR) or the non-robust support vector regression networks (SVRNs) in the second stage. Consequently, the learning mechanism of the proposed approach is much easier than that of the robust support vector regression networks (RSVRNs) approach and of the weighted LS-SVMR approach. Based on the simulation results, the performance of the proposed approach with non-robust LS-SVMR is superior to the weighted LS-SVMR approach when the outliers exist. Moreover, the performance of the proposed approach with non-robust SVRNs is also superior to the RSVRNs approach.     

利用矢量基学习和自适应迭代算法改进LSSVR

针对最小二乘支持向量回归缺乏传统SVR的稀疏性和鲁棒性等问题,综合矢量基学习和自适应迭代算法的优势,提出了一种改进的加权最小二乘支持向量回归算法（LSSVR）。该算法通过引入用矢量基学习和自适应迭代相结合的方式得到一个小的支持向量集,可以避免递推时可能出现的误差积累问题,有效提高算法的稀疏性和稳定性;同时采用加权方法确定权值系数以减小训练样本中非高斯噪声的影响。实验结果表明,改进的LSSVR具有较好的鲁棒性、支持向量稀疏性和动态建模实时性。     

鲁棒双子支持向量回归

针对传统支持向量回归机缺乏鲁棒性而鲁棒支持向量回归机稀疏性不理想,提出了新的支持向量回归方法（鲁棒双子支持向量回归）。为了求解的方便,该方法的损失函数由两个可微的凸函数构成,并且采用CCCP技术对其进行求解。该方法在获得良好稀疏性的同时有效地抑制了过失误差的影响。通过人工数据和现实真实数据对该方法的测试,验证了新方法的有效性。     

可有效抵抗一般性几何攻击的数字水印检测方法

以回归型支持向量机理论为基础, 结合性能稳定的伪Zernike矩和Krawtchouk矩, 提出了一种可有效抵抗一般性几何攻击的强鲁棒数字图像水印检测算法. 该算法首先选取图像的低阶Krawtchouk矩作为特征向量, 然后利用SVR对几何变换参数进行训练学习并对待检测图像进行数据预测, 最后对其进行几何校正并提取水印信息. 仿真实验结果表明, 该数字图像水印检测算法不仅具有较好的不可感知性, 而且对常规信号处理和一般性几何攻击均具有较好的鲁棒性.