Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

SORR回归算法在胆固醇测定中的应用

借鉴分类问题的算法,推广到回归问题中去,针对用于分类问题的SOR(successive overrelaxation for support vector)支持向量机算法,提出SORR(successive overrelaxation for support vector regression)支持向量回归算法,并应用于医学上三类血浆脂蛋白(VLDL、LDL、HDL)测定样本中胆固醇的含量。数值实验表明:SORR算法有效,与标准的支持向量回归SVR算法相比,保持了相同的回归精度,提高了学习速度,为临床上测定胆固醇含量提供新的有效方法。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

采用支持向量回归机的说话者确认系统

提出一种基于支持向量回归机的说话者确认方法.该方法利用高斯混合模型中的均值向量连接构成一个超向量来模拟目标说话者的身份特性.以该超向量作为分类样本,利用支持向量回归机的方法进行分类,从而在一定程度上减轻了信道因素对系统识别精度的影响.该方法在NIST2006年说话者识别数据库上实验得到的识别等错误率比采用支持向量分类机方法有了相对12.8%的降低.     

基于SVC 和SVR 约束组合的迁移学习分类算法

根据迁移学习思想,针对分类问题,以支持向量机(SVM)模型为基础提出一种新的迁移学习分类算法CCTSVM.该方法以邻域间的分类超平面为纽带实现源域对目标域的迁移学习.具体地,以支持向量分类的约束条件完成对目标域数据的学习,获取分类超平面参数,再以支持向量回归的约束条件有效利用源域数据矫正目标域超平面参数,并在上述组合约束的共同作用下实现邻域间迁移,提高分类器性能.在人工和真实数据集上的实验表明,所提出算法具有良好的迁移能力和优越的分类性能.     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

基于SVM的大样本数据回归预测改进算法

针对支持向量机回归预测精度与训练样本尺寸不成正比的问题,结合支持向量机分类与回归算法,提出一种大样本数据分类回归预测改进算法。设计训练样本尺寸寻优算法,根据先验知识对样本数据进行人为分类,训练分类模型,基于支持向量机得到各类别样本的回归预测模型,并对数据进行预测。使用上证指数的数据进行实验,结果表明,支持向量机先分类再回归算法预测得到的均方误差达到12.4,低于人工神经网络预测得到的47.8,更远低于支持向量机直接回归预测得到的436.9,验证了该方法的有效性和可行性。     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

加权支持向量回归的权值确定方法

针对标准支持向量回归中由于噪声和野点造成的回归误差.提出了一种基于线性规划的权值确定方法.该方法的基本思想是首先根据样本偏离数据域距离的不同,采用线性规划下的一类分类算法得到一个权值确定函数,然后将得到的权值确定函数应用于加权支持向量回归,加权的目的是为了减弱噪声和野点对回归结果的影响.实验表明,该权值确定方法与标准支持向量回归相比,可以有效减小回归误差,提高支持向量机抗噪声的能力.     

基于连续过松弛方法的支持向量回归算法

支持向量回归(support vector regression,简称SVR)训练算法需要解决在大规模样本条件下的凸二次规划(quadratic programming,简称QP)问题.尽管此种优化算法的机理已经有了较为明确的认识,但已有的支持向量回归训练算法仍较为复杂且收敛速度较慢.为解决这些问题.首先采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上针对大规模样本回归问题提出一种用于SVR的简化SOR(successive overrelaxation)算法.实验表明,这种新的回归训练方法在数据量较大时,相对其他训练方法有较快的收敛速度,特别适于在大规模样本条件下的回归训练算法设计.     

拟线性对称超松弛形两步递推辨识算法

本文提出一种线性系统拟线性对称超松弛两步递推辨识新算法，并对其收敛性应用常微分方程的方法进行了分析。仿真结果表明算法和本文的收敛定理是一致的。     

压电陶瓷驱动器非线性建模研究

压电陶瓷驱动器电压位移之间的非线性特点严重影响着它的位移控制精度,建立压电陶瓷驱动器非线性模型是纳米级微位移测控中的关键环节.采用支持向量机回归的方法,通过引入核函数和损失函数将非线性回归转化成线性问题并提高回归精度,建立了一种新的压电陶瓷驱动器外环非线性模型,并就模型的准确性与其它建模方法进行了比较.试验证明,所建的基于支持向量回归的压电陶瓷驱动器非线性模型很好的描述了压电陶瓷驱动器外环非线性特点,误差控制在2%以内,并且建模过程简单,准确性高.     

支持向量回归估计性能分析

本文对支持向量机用于回归估计进行了详细的性能分析,得出了不敏感系数、惩罚因子和核函数及其参数是影响支持向量机回归估计性能的主要因素。不敏感系数可控制模型的泛化推广能力,其值的确定应考虑样本可能带有的噪声分布状况,惩罚因子可控制拟合曲线复杂性,核函数宽度系数可影响回归曲线光滑程度。因此,在采用支持向量机回归建模时,应根据建模对象选定合适的参数值,以保证回归建模效果。最后通过对原油实沸点蒸馏曲线的拟合问题验证了分析结果,为进一步研究确定SVM参数的优化方法打下了基础。     

改进的加权型支持向量回归方法

分析现有支持向量回归方法的缺点和不足，给出一种改进的加权型支持向量回归方法及其wolfe对偶形式．引入凸函数降低对核函数的要求，并讨论当这些凸函数取不同形式时支持向量回归机的变形，为得到更为灵活的回归曲线提供有效工具．同时对广泛的支持向量回归模型、优化支持向量模型的泛化能力和运算速度等方面进行讨论．     

一种基于支持向量机的图像边缘检测方法

支持向量机是一种新的机器学习的方法。它以统计学习理论为基础,能够较好地解决小样本的学习问题。由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。支持向量函数回归(SVR)是SVM的一个重要分支,它已经成功地应用于系统识别、非线性系统的预测等方面,并取得了较好的效果。文中通过图像的SVR表示,对SVR图像的边缘检测进行了研究。文中算例说明了该方法在实际应用中的可行性。实验结果表明,该算法能有效提高图像边缘检测效果。同时对其他边缘检测方法有一定的借鉴作用。     

基于RS-SVR的企业信用评分模型

准确的信用评分模型可以提升银行的决策能力,将支持向量回归模型应用于企业信用评分问题,并提出基于随机子集的支持向量回归集成模型。首先使用随机子集抽样模型获得足够多不同的训练数据集,接下来使用不同的训练集子集训练得到不同的支持向量回归模型,最后使用简单平均方法整合不同模型的预测结果,在企业信用评分数据上的实验结果证明了模型的有效性。     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。