拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

一种ε可调的在线支持向量回归及其训练算法

标准支持向量回归问题中,噪声较大的时段将包含较多的支持向量。提出一种时间窗内?着可调的支持向量回归方法,根据各时间窗的支持向量的比例动态调整?着,能够处理噪声时变的回归问题。并给出一种?着调整时的在线训练算法,避免重复求解凸规划问题。实例表明该方法的泛化能力和拟合精度较标准支持向量回归为优。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

多输出数据依赖核支持向量回归快速学习算法

针对基于递推下降法的多输出支持向量回归算法在模型参数拟合过程中收敛速度慢、预测精度低的情况,使用一种基于秩2校正规则且具有二阶收敛速度的修正拟牛顿算法（BFGS）进行多输出支持向量回归算法的模型参数拟合,同时为了保证模型迭代过程中的下降量和全局收敛性,应用非精确线性搜索技术确定步长因子。通过分析支持向量机（SVM）中核函数的几何结构,构造数据依赖核函数替代传统核函数,生成多输出数据依赖核支持向量回归模型。将模型与基于梯度下降法、修正牛顿法拟合的多输出支持向量回归模型进行对比。实验结果表明,在200个样本下该算法的迭代时间为72.98 s,修正牛顿法的迭代时间为116.34 s,递推下降法的迭代时间为2065.22 s。所提算法能够减少模型迭代时间,具有更快的收敛速度。     

加权光滑投影孪生支持向量回归算法

现有双边移位投影孪生支持向量回归（PPTSVR）算法在训练阶段没有考虑不同位置样本对超平面构造的影响,当样本中存在异常点时会降低算法拟合性能。针对该问题,提出一种加权光滑投影孪生支持向量回归算法。采用孤立森林法赋予每个样本不同的权值,并且赋予样本中异常点很小的权值,通过将权值引入算法目标函数,削弱异常点对超平面构造的影响。为直接在原空间中寻求最优超平面,引入正号函数,将有约束优化问题转化为无约束优化问题,并采用Sigmoid光滑函数对目标函数进行光滑处理,证明其任意阶可微且严格凸的特性,进而在原空间中采用牛顿迭代法进行求解。在基准数据集和人工测试函数上的实验结果表明,该算法相比于现有代表性回归算法具备更好的拟合性能和更快的训练速度,尤其当训练样本中存在异常点时,相比于PPTSVR算法拟合性能提升更明显。     

快速原空间孪生支持向量回归算法

孪生支持向量回归(TSVR)通过快速优化一对较小规模的支持向量机问题获得回归函数。文中提出在原始输入空间中采用Newton法直接优化TSVR的目标函数,从而有效克服TSVR通过对偶二次规划问题求得近似最优解导致性能上的损失。数值模拟实验表明该方法不仅能提高TSVR的性能,并且可降低学习时间。     

稀疏结构化最小二乘双支持向量回归机

最小二乘双支持向量回归机（LSTSVR）通过引入最小二乘损失将双支持向量回归机（TSVR）中的二次规划问题简化为两个线性方程组的求解,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险易导致以下不足：（1）“过学习”问题;（2）模型的解缺乏稀疏性,难以训练大规模数据。针对（1）,提出结构化最小二乘双支持向量回归机（S-LSTSVR）以提升模型的泛化能力;针对（2）,进一步利用不完全Choesky分解对核矩阵进行低秩近似,给出求解S-LSTSVR的稀疏算法SS-LSTSVR,使模型能有效地训练大规模数据。人工数据和UCI数据集中的实验证明SS-LSTSVR不但可以避免“过学习”,而且能够高效地解决大规模训练问题。     

基于无约束优化的最小二乘支撑向量机

为了解决最小二乘支撑向量机（LSSVM）优化问题需要耗费大量时间的问题,提出了利用牛顿优化法来解决LSSVM优化问题的方法（称为Newton-LSSVM）。首先把LSSVM优化问题转化为无约束化优化问题的形式,然后再采用牛顿优化法来迭代求解。实验结果表明,该方法在大幅度减少LSSVM算法的训练时间开销的同时,能够获得与采用传统优化方式求解LSSVM优化问题一样的泛化能力。     

鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

一种支持向量逐步回归机算法研究

支持向量机是解决非线性问题的重要工具,对多元线性回归模型和支持向量机的原始形式进行比较,拟定从样本子集的多元线性回归模型出发,逐步搜索支持向量,提出了一种建立支持向量回归机的快速算法,以降低核矩阵的规模从而降低解凸二次规划的复杂度;最后,分析了该算法的复杂度,并提供了一个算例。     

线性支持向量机优化问题的一种光滑算法

线性支持向量机的无约束优化模型的目标函数不是一个二阶可微函数,因此不能应用一些快速牛顿算法来求解。提出了目标函数的一种光滑化技巧,从而得到了相应的光滑线性支持向量机模型,并给出了求解该光滑线性支持向量机模型的Newton-Armijo算法,该算法是全局收敛的和二次收敛的。     

基于最小二乘的最小类方差支撑向量机

针对最小类方差支撑向量机(MCVSVM)在小样本情况下仅利用类内散度矩阵非零空间中信息的问题,提出基于最小二乘的最小类方差支撑向量机(LS-MCVSVM)算法,通过牛顿优化法迭代求解LS-MCVSVM的优化问题,从而有效解决了小样本问题。实验结果表明,相对于MCVSVM,LS-MCVSVM算法可进一步提高泛化能力,减少训练时间开销。