双支持向量回归的牛顿算法

为提高支持向量回归的运算速度,提出一种双支持向量回归的牛顿算法。求解2个只带一组约束的支持向量问题,以减少运算量,将2个约束优化问题转化为无约束最优化问题,并采用牛顿迭代算法求解。实验结果表明,在保证与支持向量回归和双支持向量回归拟合能力相当的同时,该算法能减少训练时间。     

拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

基于模糊聚类的稳健支撑向量回归机及火焰图像处理

由于离群点会降低支撑向量回归机的性能,因此为了提高支撑向量回归机的图像处理性能,提出了一种具有抗离群点性能的模糊稳健支撑向量回归机（FRSVR）,并首先给出了在任意代价函数下支撑向量回归机的求解方法;然后讨论了构建稳健支撑向量机的代价函数所需的性质,并在此基础上,引入了损失代价函数族;接着根据支撑向量回归机的训练误差,用模糊C均值聚类（FCM）查找离群点;最后通过迭代的方法实现了模糊稳健支撑向量回归机。为了对火焰图像进行有效处理,还将FRSVR算法应用于乳化油燃烧火焰图像处理,以去除火焰图像上的离群点。实验结果表明,FRSVR算法处理图像的性能优于ε-SVR算法和自适应SVR滤镜（ASBF）,不仅能有效地查找离群点,而且可去除较大的离群点区域,还能显著的降低离群点的影响,并具有良好的泛化性能。     

共轭梯度型支撑向量机

求解支撑向量机的二次规划有不同的变形.对于线性问题,从一个变形出发,利用Lagrangian对偶技巧,将特征空间的高维二次规划问题转化为输入空间的低维无约束、可微凸的对偶规划.针对目标函数的分片二次特征,结合快速精确的一维搜索技术,提出共轭梯度型支撑向量机来求解该问题.利用Cholesky分解或非完全(incomplete)Cholesky分解方法分解核矩阵,在算法复杂度增加很少的条件下可实现基于核函数的非线性分类.该算法可以在普通计算机上快速求解上百万规模的线性训练问题和较大规模的非线性训练问题.大量数据实验和复杂度分析表明,该算法与同类算法如ASVM、LSVM相比是有效的.     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

加权稳健支撑向量回归方法

给出一类基于奇异值软剔除的加权稳健支撑向量回归方法(WRSVR)．该方法的基本思想是首先由支撑向量回归方法(SVR)得到一个近似支撑向量回归函数,基于这个近似模型给出了加权SVR目标函数并利用高效的SVR求解技巧得到一个新的近似模型,然后再利用这个新的近似模型重新给出一个加权SVR目标函数并求解得到一个更为精确的近似模型,重复这一过程直至收敛．加权的目的是为了对奇异值进行软剔除．该方法具有思路简捷、稳健性强、容易实现等优点．实验表明,新算法WRSVR比标准SVR方法、稳健支撑向量网(RSVR)方法和加权最小二乘支撑向量机方法(WLS—SVM)更加稳健,算法的逼近精度受奇异值的影响远小于SVM、RSVR和WLS—SVM算法．     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

最小二乘孪生参数化不敏感支持向量回归机

孪生参数化不敏感支持向量回归机（Twin Parametric Insensitive Support Vector Regression,TPISVR）是最近提出的一种新型机器学习方法.和其它回归方法相比,TPISVR在处理异方差噪声方面具有独特的优势.标准TPISVR的训练算法可以归结为在对偶空间求解一对具有不等式约束的二次规划问题.然而,这种求解方法的时间消耗比较大.本文引入最小二乘思想,将TPISVR的两个二次规划问题转化为两个线性方程组,并在原始空间上直接求解,提出了最小二乘孪生参数化不敏感支持向量回归机（Least Squares TPISVR,LSTPISVR）.为了解决LSTPISVR的参数选择问题,提出混沌布谷鸟优化算法,并用其对LSTPISVR的参数进行优化选择.在人工数据集和UCI数据集上的实验表明了LSTPISVR在保持精度不下降的情况下比TPISVR具有更高的运行效率.     

基于最小二乘的最小类方差支撑向量机

针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题,提出基于最小二乘的最小类方差支撑向量机(LS-MCVSVM)算法,通过牛顿优化法迭代求解LS-MCVSVM的优化问题,从而有效解决了小样本问题。实验结果表明,相对于MCVSVM,LS-MCVSVM算法可进一步提高泛化能力,减少训练时间开销。     

集成先验知识的多核线性规划支持向量回归

为了解决工程中数据样本较少情况下的准确建模问题, 提出了一种集成先验知识的多核线性规划支持向量回归算法. 该算法首先通过修改优化目标和不等式约束条件, 把来自仿真模型具有偏差的先验知识数据集成到现有的线性规划支持向量回归的学习框架中. 然后, 引入多核到集成先验知识的线性规划支持向量回归中以实现复杂规律的准确建模. 最后, 将算法推广到多输入多输出的数据建模中. 仿真案例以及在天线和滤波器的实际应用表明: 该算法求解简单, 具有较好的模型稀疏和准确性.     

多输出数据依赖核支持向量回归快速学习算法

针对基于递推下降法的多输出支持向量回归算法在模型参数拟合过程中收敛速度慢、预测精度低的情况,使用一种基于秩2校正规则且具有二阶收敛速度的修正拟牛顿算法（BFGS）进行多输出支持向量回归算法的模型参数拟合,同时为了保证模型迭代过程中的下降量和全局收敛性,应用非精确线性搜索技术确定步长因子。通过分析支持向量机（SVM）中核函数的几何结构,构造数据依赖核函数替代传统核函数,生成多输出数据依赖核支持向量回归模型。将模型与基于梯度下降法、修正牛顿法拟合的多输出支持向量回归模型进行对比。实验结果表明,在200个样本下该算法的迭代时间为72.98 s,修正牛顿法的迭代时间为116.34 s,递推下降法的迭代时间为2065.22 s。所提算法能够减少模型迭代时间,具有更快的收敛速度。     

基于概率支持向量回归的产品设计时间预测模型

为使产品设计时间预测既克服小样本、异方差噪声问题,又提供除预测值以外的其他有用信息,建立概率支持向量回归(PSVR)模型。首先,在异方差回归模型基础上设计概率约束条件,以使预测值以较大概率位于真实值的某邻域,结合具有参数不敏感损失函数的支持向量回归确定优化目标,提出PSVR。然后,将最大完工时间知识嵌入进PSVR的约束条件,用以确定真实值邻域的宽度,将交叉验证与遗传算法相结合以确定PSVR的相关参数。最后,以注塑模具设计的实例进行分析,结果表明基于PSVR的时间预测方法可同时提供有效的预测值和预测区间。     

An affine scaling interior trust-region method combining with nonmonotone line search filter technique for linear inequality constrained minimization

This paper proposes an affine scaling interior trust-region method in association with nonmonotone line search filter technique for solving nonlinear optimization problems subject to linear inequality constraints. Based on a Newton step which is derived from the complementarity conditions of linear inequality constrained optimization, a trust-region subproblem subject only to an ellipsoidal constraint is defined by minimizing a quadratic model with an appropriate quadratic function and scaling matrix. The nonmonotone schemes combining with trust-region strategy and line search filter technique can bring about speeding up the convergence progress in the case of high nonlinear. A new backtracking relevance condition is given which assures global convergence without using the switching condition used in the traditional line search filter technique. The fast local convergence rate of the proposed algorithm is achieved which is not depending on any external restoration procedure. The preliminary numerical experiments are reported to show effectiveness of the proposed algorithm.     

An iterative algorithm for optimum control problems with inequality constraints

This paper presents an iterative algorithm to approximate inequality constrained optimal control problems. The method uses Pontryagin's necessary conditions of optimality with a penalty method. The initial values of the adjoint vectorPsi(t), and the penalty coefficients are evaluated in such a way that the final conditions are satisfied and the extremal distances between the obtained trajectory and the constraints are imposed. The computing time is remarkably small. This method can treat linear problems with fixed or variable final time with mixed or simple constraints. A test problem is solved.     

Static Output Feedback Stabilization of a Class of Switched Linear Systems with State Constraints

This paper will research the problem of static output feedback (SOF) stabilization of state-constrained switched linear systems via an improved average dwell time method (ADT). Firstly, an improved ADT method is adopted to establish sufficient conditions for SOF of the state-constrained switched linear systems in the form of matrix inequality. It has been shown that this method is less conservative than traditional ADT, which in view of different decay rates of a Lyapunov function related to an active subsystem on the basis of whether the saturations occur or not. Then, a new iterative algorithm is designed to solve the matrix inequality and a SOF controller can be added. In the iterative linear matrix inequality (ILMI) algorithm, it is important not only to overcome the typical bilinear matrix inequality (BMI) problem of SOF, but also to solve the non-convex problem caused by state constraints. Finally, the availability and the applicability of the proposed method is shown by the application of a boost converter.     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

Recursive reduced least squares support vector regression

Combining reduced technique with iterative strategy, we propose a recursive reduced least squares support vector regression. The proposed algorithm chooses the data which make more contribution to target function as support vectors, and it considers all the constraints generated by the whole training set. Thus it acquires less support vectors, the number of which can be arbitrarily predefined, to construct the model with the similar generalization performance. In comparison with other methods, our algorithm also gains excellent parsimoniousness. Numerical experiments on benchmark data sets confirm the validity and feasibility of the presented algorithm. In addition, this algorithm can be extended to classification.     

一种双重正则化支持向量机的改进算法

针对L1范数支持向量机和L2范数支持向量机在分析部分小样本、高维数、变量高相关的数据时效果不理想的问题,在综合利用这2种支持向量机优点的基础上,提出一种双重正则化支持向量机的改进算法。通过正号函数和二次多项式损失函数将问题转化为可微的无条件约束优化问题,便于采用多种优化算法进行运算。实验结果证明,该改进算法可取得较好的分类准确率。