基于连续过松弛方法的支持向量回归算法

支持向量回归(support vector regression,简称SVR)训练算法需要解决在大规模样本条件下的凸二次规划(quadratic programming,简称QP)问题.尽管此种优化算法的机理已经有了较为明确的认识,但已有的支持向量回归训练算法仍较为复杂且收敛速度较慢.为解决这些问题.首先采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上针对大规模样本回归问题提出一种用于SVR的简化SOR(successive overrelaxation)算法.实验表明,这种新的回归训练方法在数据量较大时,相对其他训练方法有较快的收敛速度,特别适于在大规模样本条件下的回归训练算法设计.     

连续超松弛支持向量机回归算法应用研究

支持向量回归问题的研究,对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对用于分类问题的SOR支持向量机有效算法,提出了SORR支持向量回归算法.在若干不同维数的数据集上,对SORR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值实验结果表明,SORR算法是有效的,与当前流行的支持向量机回归算法相比,在回归精度和学习速度上都有一定的优势.     

基于支持向量机分类的回归方法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的分类技术,也是一种新的具有很好泛化性能的回归方法.提出了一种将回归问题转化为分类问题的新思想.这种方法具有一定的理论依据,与SVM回归算法相比,其优化问题几何意义清楚明确.     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression, STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale, CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression, SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.     

支持向量机多分类算法的研究

支持向量机（support vector machine,SVM）是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域。本文重点阐述了一些典型的支持向量机多分类算法及支持向量机多标注算法。最后指出了进一步研究和亟待解决的一些问题。     

未确知支持向量机

提出一种处理样本中含有未确知信息(一种不确定性信息)的支持向量机未确知支持向量机(Unascertained support vector machine, USVM)算法.首先,以未确知数学为基础,将含有未确知信息的分类问题转化为求解未确知机会约束规划问题.然后,将其转化为与其等价的二次规划. 据此给出未确知支持向量机.理论分析和试验结果均表明,该算法是有效、可行的.     

一种新的最小二乘支持向量机算法

基于核方法的学习算法在机器学习领域占有很重要的地位（如支持向量机support vector machines,简称SVM）。但该方法在处理回归问题时的计算复杂度为数据量的立方级。最小二乘支持向量机(least squares support vector machines 简称LS-SVM)在计算复杂性方面对传统的支持向量机的作了很大改进,但是它的计算量也达到样本点数目的平方级。在处理海量数据回归问题时,求解LS-SVM占用大量的CPU和内存资源。本文提出了一种带非齐次多项式核的最小二乘支持向量机算法,由于特征向量中含有常数分量,所以本文去掉了模型中的偏差因子,简化了LS-SVM的回归模型。新方法特别适合于海量数据回归问题。实验显示新方法的求解速度比传统LS-SVM要快很多,同时新方法的准确性却丝毫不亚于LS-SVM     

有向无环图-双支持向量机的多类分类方法

针对多分类支持向量机算法中的低效问题和样本不平衡问题,提出一种有向无环图-双支持向量机DAG-TWSVM(directed acyclic graph and twin support vector machine)的多分类方法。该算法综合了双支持向量机和有向无环图支持向量机的优势,使其不仅能够得到较好的分类精度,同时还能够大大缩减训练时间。在处理较大规模数据集多分类问题时,其时间优势更为突出。采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对该算法进行验证,实验结果表明,有向无环图-双支持向量机多分类方法在训练时间上较其他多分类支持向量机大大缩短,且在样本不平衡时的分类性能要优于其他多分类支持向量机,同时解决了经典支持向量机一对一多分类算法可能存在的不可分区域问题。     

无偏置支持向量回归优化问题

为了研究偏置对支持向量回归(support vector regression,简称SVR)问题泛化性能的影响,首先提出了无偏置SVR(NBSVR)的优化问题及其对偶问题.推导出了NBSVR优化问题全局最优解的必要条件,然后证明了SVR的对偶问题只能得到NBSVR对偶问题的次优解.同时提出了NBSVR的有效集求解算法,并证明了它是线性收敛的.基于21个标准数据集的实验结果表明,在对偶问题解空间上,有偏置支持向量回归算法只能得到无偏置支持向量回归算法的次优解,NBSVR的均方根误差要低于SVR.NBSVR的训练时间不仅低于SVR,而且对核参数变化不太敏感.     

一种新的模糊支持向量机多分类算法

在模糊多分类问题中,由于训练样本在训练过程中所起的作用不同,对所有数据包括异常数据赋予一个隶属度。针对模糊支持向量机（fuzzy support vector machines,FSVM）的第一种形式,引入类中心的概念,结合一对多1-a-a(one-against-all)组合分类方法,提出了一种基于一对多组合的模糊支持向量机多分类算法,并与1-a-1(one-against-one)组合和1-a-a组合的分类算法比较。数值实验表明,该算法是有效的,有较高的分类准确率,有更好的泛化能力。     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

改进的加权型支持向量回归方法

分析现有支持向量回归方法的缺点和不足，给出一种改进的加权型支持向量回归方法及其wolfe对偶形式．引入凸函数降低对核函数的要求，并讨论当这些凸函数取不同形式时支持向量回归机的变形，为得到更为灵活的回归曲线提供有效工具．同时对广泛的支持向量回归模型、优化支持向量模型的泛化能力和运算速度等方面进行讨论．     

基于支持向量机的在线建模方法及应用

针对常规v支持向量回归用于在线建模时存在的问题，提出了一种支持向量回归在线建模方法．利用贝叶斯证据框架优化模型参数，通过判断新增观测值是否满足原来的KKT条件，并对历史数据给予不同程度的加权以充分利用最新的数据信息，使模型随着时间的推移在线更新．工业PTA氧化过程中4-CBA含量预测的实例表明，该方法能很好地跟踪4-CBA含量的变化趋势，是一种有效的在线建模方法．     

拟线性对称超松弛形两步递推辨识算法

本文提出一种线性系统拟线性对称超松弛两步递推辨识新算法，并对其收敛性应用常微分方程的方法进行了分析。仿真结果表明算法和本文的收敛定理是一致的。     

基于F-SVMs的多模型建模方法

针对全局模型难以精确描述复杂工业过程的问题,提出一种基于模糊支持向量机(F-SVMs)的多模型(F-SVMs MM)建模方法。用模糊支持向量分类算法(F-SVC)对输入数据进行预处理,得到多模型模糊隶属度;用模糊支持回归算法(F-SVR)建立多模型(MM)估计器。应用该方法对pH中和滴定过程进行建模,仿真结果表明,F-SVMs MM跟踪性能好、泛化能力强,比USOCPN方法和标准支持向量机(SVMs)方法具有更好的性能和推广能力。     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

基于荧光光谱的空间高等植物叶绿素含量测量技术

开展高等植物光合作用过程参数的实时检测技术研究,对于深入开展空间生物学效应具有重要意义。作为光合作用重要参数的高等植物叶绿素含量与其荧光光谱具有较好的相关性,为此,可以通过探测分析植物荧光光谱,建立其与叶绿素的相关性模型,间接表征其中的叶绿素含量。介绍一种新的建模方法即支持向量机（SVM）,通过实验验证,方法预测叶绿素含量是可行的,相对于一般采用的线性回归法具有更好的预测效果和更高的测量精度。     

一种基于支持向量机的图像边缘检测方法

支持向量机是一种新的机器学习的方法。它以统计学习理论为基础,能够较好地解决小样本的学习问题。由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。支持向量函数回归(SVR)是SVM的一个重要分支,它已经成功地应用于系统识别、非线性系统的预测等方面,并取得了较好的效果。文中通过图像的SVR表示,对SVR图像的边缘检测进行了研究。文中算例说明了该方法在实际应用中的可行性。实验结果表明,该算法能有效提高图像边缘检测效果。同时对其他边缘检测方法有一定的借鉴作用。