光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression, STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale, CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression, SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.     

光滑分段孪生支持向量机

为了解决Sigmoid的积分函数对正号函数的逼近精度低的问题,引入一种具有更强逼近正号函数能力的光滑函数即分段函数,提出了光滑分段孪生支持向量机,并用快速Newton-Armijo算法对其求解.在NDC和UCI数据集上的实验结果表明:光滑分段孪生支持向量机能够有效地处理大规模和高维度数据,且分类精度和分类速度与光滑孪生支持向量机相比得到了改进.     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

基于多项式光滑的支持向量回归机

把支持向量回归机中的原始凸二次规划问题转化为光滑的无约束问题．构建了无约束支持向量回归机．使得许多成熟有效的无约束最优化算法能够应用到支持向量回归机中去。提出了一种光滑支持向量回归算法．实验结果表明．它相对于其它回归训练方法有较快的收敛速度和较高的拟合精度．     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

加权光滑投影孪生支持向量回归算法

现有双边移位投影孪生支持向量回归（PPTSVR）算法在训练阶段没有考虑不同位置样本对超平面构造的影响,当样本中存在异常点时会降低算法拟合性能。针对该问题,提出一种加权光滑投影孪生支持向量回归算法。采用孤立森林法赋予每个样本不同的权值,并且赋予样本中异常点很小的权值,通过将权值引入算法目标函数,削弱异常点对超平面构造的影响。为直接在原空间中寻求最优超平面,引入正号函数,将有约束优化问题转化为无约束优化问题,并采用Sigmoid光滑函数对目标函数进行光滑处理,证明其任意阶可微且严格凸的特性,进而在原空间中采用牛顿迭代法进行求解。在基准数据集和人工测试函数上的实验结果表明,该算法相比于现有代表性回归算法具备更好的拟合性能和更快的训练速度,尤其当训练样本中存在异常点时,相比于PPTSVR算法拟合性能提升更明显。     

基于最佳一致光滑逼近的孪生支持向量机研究

孪生支持向量机本质为两个二次规划问题,对于其目标函数中约束变量取正号不可微特性,提出一种基于最佳一致逼近的多项式光滑函数构建方法。分别以Bernstain多项式和Chebyshev多项式进行正号函数最佳一致有效光滑逼近。重点突出Chebyshev多项式的最佳一致逼近过程,使用Remez算法构造最佳一致Chebyshev多项式,讨论各阶Chebyshev多项式逼近状况。最后综合最佳一致逼近多项式和样本适应度构建目标优化函数,采用快速Newton-Armijo算法求解目标优化函数,基于UCI数据验证了方法的优越性。     

求解广义支持向量机的光滑型算法

提出一种求解支持向量机(SVMs)的光滑型算法.该算法基于其对偶优化模型的KKT系统,提出一类新的光滑函数族,将其KKT系统重构为一个光滑方程组,并采用光滑型算法进行求解.在适当的条件下,该算法是全局收敛和局部超线性收敛的.多个算例表明该算法非常有效,具有广阔的应用前景.     

鲁棒的光滑支持向量机

光滑支持向量机(Smooth Support Vector Machine,SSVM)是传统支持向量机的一种改进模型,它利用光滑方法将传统支持向量机的二次规划问题转化成无约束优化问题,并使用Newton-Armijo算法求解该无约束优化问题。在光滑支持向量机的基础上提出了鲁棒的光滑支持向量机(Robust Smooth Support Vector Machine,RSSVM),其利用M-estimator代替SSVM中基于L2范数的正则化项,并利用半二次最小化优化方法求解相应的最优化问题。实验结果表明所提方法可以有效地提高SSVM的抗噪声能力。     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

密度加权近似支持向量机

标准的近似支持向量机(PSVM)用求解正则化最小二乘问题代替了求解二次规划问题,它可以得到一个解析解,从而减少训练时间。但是标准的PSVM没有考虑数据集中正、负样本的分布情况,对所有的样本都赋予了相同的惩罚因子。而在实际问题中,数据集中样本的分布是不平衡的。针对此问题,在PSVM的基础上提出了一种基于密度加权的近似支持向量机(DPSVM),其先计算样本的密度指标,不同的样例有不同的密度信息,因此对不同的样例给予不同的惩罚因子,并将原始优化问题中的惩罚因子由数值变为一个对角矩阵。在UCI数据集上用这种方法进行了实验,并与SVM和PSVM方法进行了比较,结果表明,DPSVM在正负类样本分布不平衡的数据集上有较好的分类性能。     

用于手写数字识别的改进模糊支持向量机

针对训练样本在训练过程中的不同作用和支持向量机在推广到多类问题时存在不可分区域,可构造两类模糊支持向量机,其分别克服了过学习问题和减少了不可分区域.构造两类问题和多类问题综合的改进模糊支持向量机并用于手写数字识别,训练时,其利用数据与其类中心的相对距离定义隶属函数,测试时,利用S.Abe定义的隶属函数判别其类别,实验结果表明,该学习机具有比传统支持向量机和模糊支持向量机更高的精度.     

基于加权支持向量机的移动建模方法及其在软测量中的应用

工业过程软测量技术的核心问题是建立软测量模型,然而,利用传统全局建模方法与多模型建模方法进行复杂工业过程软测量建模时,在不同程度上存在一些问题.本文利用支持向量机(SVMs)泛化能力强的特点,结合局部加权学习(LWL)算法思想,提出一种适于局部学习的加权支持向量机(W_SVMs)学习算法和基于这种算法的移动建模方法.利用这种建模方法对Box-Jenkins煤气炉和重油催化裂化(FCCU)装置进行分析建模,并与其它不同建模方法进行比较,显示了该方法的优点和有效性.     

Digital Least Squares Support Vector Machines

This paper presents a very simple digital architecture that implements a Least-Squares Support Vector Machine. The simplicity of the whole system and its good behavior when used to solve classification problems hold good prospects for the application of such a kind of learning machines to build embedded systems.     

模糊支持向量分类机

研究了当训练点的输出为模糊数时支持向量分类机的构建问题。对于线性模糊分类问题,首先将其转化为模糊系数规划。利用模糊系数规划的λ-最优规划,求解模糊系数规划得到模糊最优解（模糊集合）以及模糊最优分类函数集（取值为最优分类函数而隶属度为λ（0≤λ≤1）的模糊集合）,从而构造线性模糊支持向量分类机。对于非线性模糊分类问题,引入核函数,类似干线性模糊分类问题得到非线性模糊支持向量分类机。最后构造显示模糊支持向量分类机特点的模糊支持向量集（取值为模糊训练点,隶属度为λ（0≤λ≤1）的模糊集合）。模糊支持向量分类机较好地解决了支持向量机中含有模糊信息的分类问题。