基于支持向量机的大样本回归算法比较研究

支持向量机的研究是当前人工智能领域的研究热点。基于支持向量机的大样本回归问题一直是一个非常具有挑战性的课题。最近,基于递归最小二乘算法,Engel等人提出了核递归最小二乘算法。文中基于块增量学习和逆学习过程,提出了自适应迭代回归算法。为了说明两种方法的性能,论文在训练速度、精度和支持向量数量等方面,对它们做了比较。模拟结果表明:核递归最小二乘算法所得到的支持向量个数比自适应迭代回归算法少,而训练时间比自适应迭代回归算法的训练时间长,训练和测试精度也比自适应迭代回归算法差。     

一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...     

基于SVR的用电负荷特征三维回归模型

针对用电负荷的周期性特点,将用电负荷特征学习建模为小时、天数、负荷数3个维度的回归问题,提出一种基于支持向量回归机的三维回归模型。将支持向量机的核函数设计为多个核函数的线性组合分别进行参数训练,并给出多路径逐步逼近的参数训练算法。仿真结果表明,与三层神经网络、最小二乘非线性拟合模型相比,该模型具有较好的用电负荷特征学习与预测能力。     

基于多蚁群算法的支持向量回归机参数选择方法

核函数是支持向量回归机的重要部分,每种核函数都有其优势和不足。本文基于支持向量机回归机模型相关参数的选取原则,给出了一种具有混合核函数的支持向量机,以基于网格搜索的多蚁群算法为基础,给出了此类混合核函数支持向量回归机参数优化的一种新方法。该方法以最小化交叉验证误差为目标,对包括混合比例和各类核函数的参数在内的5个参数进行优化。仿真结果表明,与遗传算法相比,本方法在参数优化方面有良好的性能,建立的预测模型精度较高。     

基于改进灰狼算法优化多核支持向量回归机及其应用

为更好发现数据中的复杂规律,避免核函数选择的盲目性和局部最优等非线性优化问题,本文提出一种基于改进灰狼算法优化多核支持向量回归机算法.首先,基于全局核函数和局部核函数构建多核支持向量机采油速度预测模型;其次,利用基于云模型和二次插值算法改进灰狼优化算法对核函数权值和参数的选取进行优化;最后,应用灰色关联分析理论确定采油速度影响因素集,并作为多核支持向量回归机预测模型的输入.与6种采油速度预测方法进行对比,所提方法具有较好的全局寻优能力和较高的预测率的优点.     

具有多分段损失函数的多输出支持向量机回归

对多维输入、多维输出数据的回归,可以采用多输出支持向量机回归算法.本文介绍具有多分段损失函数的多输出支持向量机回归,其损失函数对落在不同区间的误差值采用不同的惩罚函数形式,并利用变权迭代算法,给出回归函数权系数和偏置的迭代公式.仿真实验表明,该算法的精确性和计算工作量都优于使用多个单输出的支持向量机回归算法.     

一种滚动轴承故障诊断方法

针对基于支持向量机的滚动轴承故障诊断方法中支持向量机的参数优化问题,提出一种改进的果蝇优化算法,即以模式分类准确率作为果蝇味道浓度函数,并采用该算法来优化支持向量机模型的惩罚因子和核函数参数;基于改进果蝇优化算法和支持向量机对滚动轴承的故障模式进行分类诊断,结果表明改进的果蝇优化算法具有较高的收敛速度和寻优效率,基于该算法和支持向量机的滚动轴承故障诊断方法具有较高的分类准确率。     

基于健康度分析与和声蚁群算法-支持向量机的故障预测模型

针对现有的故障预测技术无法从整体上反映系统性能下降趋势等问题,提出一种基于健康度分析的故障预测方法.首先,在支持向量机回归算法基础上构造多输出支持向量机,以实现健康度的多步预测,并提出一种和声蚁群算法优化支持向量机参数,解决了蚁群算法易陷入局部最优的问题; 然后, 根据最优参数建立拟合监测数据和未来健康度下降过程非线性映射关系的和声蚁群算法-支持向量机(HSACA-SVM)故障预测模型; 最后,通过某装备电源系统监测数据验证了该模型的有效性.实例验证表明该模型能够较好地实现对健康度下降趋势的预测,预测准确率达到97%,进而实现故障预测.     

辨识非线性MIMO系统的多输出ε-SVR模型研究

针对非线性多输入多输出(MIMO)系统的黑箱辨识问题,提出一种基于ε不敏感损失函数的多输出支持向量回归机(SVR)模型,并给出了偏置的有效求取算法.在一个优化问题中,该模型能最小化所有输出带正则项的结构风险总和,并能为不同输出选择不同的核函数及模型参数.将多输出SVR模型应用于非线性MIMO系统的辨识,仿真结果表明,该模型克服了传统支持向量回归机必须为每个输出单独建模这一缺陷,并能提升系统的整体辨识能力.     

一种求解非线性方程组的混合优化算法

本文针对非线性方程组的求解问题提出了一种混合算法。将修正牛顿法与最速下降法相结合。使两个方法相互最长补短,使得在迭代初始值不太好的情况下也能保证收敏性,同时加快收敛速度,数值结果表明该算法是有效的。     

基于牛顿梯度优化的弹性多核学习

已有稀疏多核学习(MKL)模型在产生核函数权重稀疏解时容易导致信息丢失且泛化能力差,且基于梯度下降法的MKL在接近最优解时收敛速度慢.建立了基于支持向量机(SVM)的弹性多核学习(EMKL)模型并给出了一种基于牛顿梯度优化的EMKL(NO-EMKL).模型在MKL的目标函数中引入弹性项,并设计了基于二阶牛顿梯度下降法的优化算法.实验结果表明:算法不仅具有更好的分类精度,还具有较快的收敛速度.     

MSVR算法中系数矩阵条件数的估计研究

基于支持向量机的基本原理及线性方程组中条件数的估计理论,对多输出支持向量机回归（MSVR,Multi-output Support Regression）算法中线性方程组系数矩阵进行分析。给出了其条件数估值范围的定理。此结果为支持向量机中核函数的选取提供了有效的方法。通过实际数据做出的数值仿真实验验证了理论结果的正确性与实用性。     

Conformal Transformation of Kernel Functions: A Data-Dependent Way to Improve Support Vector Machine Classifiers

In this paper we extend the conformal method of modifying a kernel function to improve the performance of Support Vector Machine classifiers [14, 15]. The kernel function is conformally transformed in a data-dependent way by using the information of Support Vectors obtained in primary training. We further investigate the performances of modified Gaussian Radial Basis Function and Polynomial kernels. Simulation results for two artificial data sets show that the method is very effective, especially for correcting bad kernels. This revised version was published online in August 2006 with corrections to the Cover Date.     

基于数据依赖核LS-SVM的压电智能结构冲击损伤检测

基于支持向量机与信息几何的统计学关联性,从信息几何学的角度通过共形变换构造了数据依赖核函数,并与LS-SVM相结合,从而形成数据依赖核LS-SVM方法。基于一阶剪切变形理论及有限单元方法,对压电智能复合材料层板进行了低速冲击压电响应数值仿真,并进行了特征提取。基于各压电传感器响应信号特征,采用数据依赖核LS-SVM方法,对压电智能复合材料层板进行了冲击损伤检测,并与静态高斯核函数(RBF)的LS-SVM方法进行了对比。结果表明:在同等条件下,相比于静态RBF核LS-SVM,数据依赖核LS-SVM具有更高的损伤检测精度及更强的推广能力。     

基于简约集支持向量机的高光谱影像分类

针对高光谱影像支持向量机分类的预侧过程中需要花费大量计算时间的问题,提出了一种利用简约集算法提高高光谱影像分类预测效率的方法。采用径向基核函数,使用一对一构造多类支持向量机分类器,通过交叉验证网格搜索法对参数进行模型参数选择,并利用简约集算法来减少分类预测过程计算量。通过高光谱影像分类试验表明,保持支持向量机的泛化能力并不需要使用所有计算得到的支持向量,简约集算法能够在保持分类预测精度的同时,大大提高高光谱影像分类预测的速度。     

基于改进的LSSVM辨识动态非线性时变系统

针对非线性时变系统难以辨识的问题,提出了一种基于改进最小二乘支持向量机的辨识新方法。该方法在加权最小二乘支持向量机的基础上,引入用矢量基学习和自适应迭代相结合的方式得到一个小的支持向量,同时采用加权方法确定权值系数以减小训练样本中非高斯噪声的影响。通过对动态非线性时变系统的仿真,结果表明该算法具有较好的鲁棒性、支持向量稀疏性和动态建模实时性。     

A Fast Dual Algorithm for Kernel Logistic Regression

This paper gives a new iterative algorithm for kernel logistic regression. It is based on the solution of a dual problem using ideas similar to those of the Sequential Minimal Optimization algorithm for Support Vector Machines. Asymptotic convergence of the algorithm is proved. Computational experiments show that the algorithm is robust and fast. The algorithmic ideas can also be used to give a fast dual algorithm for solving the optimization problem arising in the inner loop of Gaussian Process classifiers. Editor: Shai Ben-David     

基于在线核聚类的雷达信号分选方法

提出一种变参数在线核聚类算法(OKCAP),将其应用于未知雷达辐射源信号分选中。OKCAP基于支持向量机的思想,采用核映射技术将数据映射到高维线性空间中进行处理,利用随机梯度下降法更新类的边界函数,且梯度下降步长和惩罚项参数可根据雷达信号动态调整,从而实现雷达辐射源信号的在线分选。仿真结果证明,该方法具有较快的聚类分选速度和较高的分选准确率。