密度加权孪生支持向量回归机

为了使数据集的内在分布更好地影响训练模型,提出一种密度加权孪生支持向量回归机算法.该算法通过k近邻算法计算获得每个数据点基于数据密度分布的密度加权值,并将密度加权值引入到标准孪生支持向量回归机算法中.算法能够很好地反映训练数据集的内在分布,使数据点准确影响训练模型.通过6个UCI数据集上的实验结果分析验证了所提出算法的有效性.     

两种不确定支持向量机分类性能的对比研究

为了克服支持向量机方法对于噪声或孤立野值点敏感的问题,通过引入模糊理论与粗糙集方法,可以分别得到两种不确定支持向量机模型.文中通过分析和比较模糊支持向量机和粗糙支持向量机分类模型构造方法,解释了这两种不确定支持向量机模型克服噪声影响的原理.同时通过一个合成数据集和一组标准数据集对这两种不确定支持向量机的泛化性能进行了对比验证.实验结果表明,相比传统支持向量机,两种不确定支持向量机都能不同程度地提高分类精度,并且模糊支持向量机算法整体表现出了更好的泛化性能.     

最小类内方差支持向量引导的字典学习

支持向量引导的字典学习算法依据大间隔分类原则,仅考虑每类编码向量边界条件建立决策超平面,未利用数据的分布信息,在一定程度上限制了模型的泛化能力.为解决该问题,提出最小类内方差支持向量引导的字典学习算法.将融合Fisher线性鉴别分析和支持向量机大间隔分类准则的最小类内方差支持向量机作为鉴别条件,在模型分类器的交替优化过程中,充分考虑编码向量的分布信息,保障同类编码向量总体一致的同时降低向量间的耦合度并修正分类矢量,从而挖掘编码向量鉴别信息,使其更好地引导字典学习以提高算法分类性能.在人脸、物体和手写数字识别数据集上的实验结果表明,在大部分样本和原子数量条件下,该算法的识别率和原子鲁棒性均优于K奇异值分解、局部特征和类标嵌入约束等经典字典学习算法.     

基于组合半监督的增量支持向量机学习算法*

增量支持向量机(ISVM)由于在每次增量学习过程中无法选择最有效的增量样本,导致模型的泛化性能较差.针对此问题,文中提出基于组合半监督方式的增量支持向量机学习算法(ICS³VM).通过将大量的无标记样本分批进行组合标记以选择最优的增量样本,即每次选择位于分类间隔内部的最有价值样本加入训练集,以此修正模型.同时选择分类间隔最大的一组标记作为最终标记,确保标记的准确性.在标准数据集上的实验表明,ICS³VM能以较高的学习效率提高模型的泛化性能.     

基于实值遗传算法与TAFSVM的遥感图像分类

支持向量机已经被成功应用于遥感图像分类。一种新型具有良好特性的支持向量机--全间隔自适应模糊支持向量机被提出。这种新型的支持向量机具有通过训练集的模糊性来增强泛化能力;对不平衡训练集具有自适应性,对正负数据采用不同的损失算法,可以提高正确分类率;通过引进全间隔算法来代替软间隔算法,可以得到更低的泛化误差等优良特性,符合遥感图像数据的内在规律。并且运用实值遗传算法对其进行参数优选,得到一种新的分类器——AGATAFSVM。最后将该分类器应用于遥感图像分类。实验结果表明,该分类器非常适用于遥感图像分类,分类精度和稳定性明显高于径向基神经网络分类器、 最近邻分类器和标准支持向量机。     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机（smooth twin support vector regression ,STSVR）中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑（chen‐harker‐kanzow‐smale ,CHKS）函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用 Newton‐Armijo 算法求解相应的模型,提出了光滑 CHKS 孪生支持向量回归机（smooth CHKS twin support vector regression ,SCTSVR）。不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能。     

基于小样本SVR的迁移学习及其应用

当前机器学习的技术已经运用到很多工程项目中,但大部分机器学习的算法只有在样本数量充足且运用在单一场景中的时候,才能获得良好的结果。其中,经典的支持向量回归机是一种具有良好泛化能力的回归算法。但若当前场景的样本数量较少时,则得到的回归模型泛化能力较差。针对此问题,以加权ε支持向量回归机为基础,提出了一种小样本数据的迁移学习支持向量回归机算法。该算法以加权ε支持向量回归机为Bagging算法的基学习器,使用与目标任务相关联的源域数据,通过自助采样生成多个子回归模型,采用简单平均法合成一个总回归模型。在UCI数据集和现实数据集——玉米棒与花生粒储藏环节损失数据集上的实验结果表明,该算法较标准ε-SVR算法与改进的RMTL算法在小数据样本上有更好的泛化能力。     

基于边界样本选择的支持向量机加速算法

针对支持向量机（Support Vector Machine,SVM）处理大规模数据集的学习时间长、泛化能力下降等问题,提出基于边界样本选择的支持向量机加速算法。首先,进行无监督的K均值聚类;然后,在各个聚簇内依照簇的混合度、支持度因素应用K近邻算法剔除非边界样本,获得最终的类别边界区域样本,参与SVM模型训练。在标准数据集上的实验结果表明,算法在保持传统支持向量机的分类泛化能力的同时,显著降低了模型训练时间。     

知识嵌入的迁移孪生支持向量机

孪生支持向量机(TwinSVM)相比支持向量机在解决类别不平衡数据问题上具有优势,但其在训练数据不足时受训所得分类器的泛化能力较差.针对此问题,探讨一种知识嵌入的迁移孪生支持向量机(KE-T-TwinSVM). 该分类器不但继承了TwinSVM的优点,还可基于知识嵌入的思想利用从相关领域学到的知识来辅助学习以提高分类效果.各种真实数据集上的实验结果表明,所提出的分类器在目标领域数据不足和不平衡情况下具有更佳的性能.     

定点孪生支持向量机

孪生支持向量机(TWSVM)以及最近提出的各种变体模型均是在高维空间内独立求解两个带有约束条件的对偶二次规划问题(QPP).然而,由于每个对偶的QPP所需求解的对偶变量的数量由他类样本的数量决定,当需要处理大规模数据集时,这种直接求解标准QPP的方法将会导致非常高的计算复杂度.为此,提出一种改进的孪生支持向量机模型,称为定点孪生支持向量机(FP-TWSVM).所提模型将传统的TWSVM及其变体模型中处在高维空间内的对偶QPP转化成一系列有限个一维空间内的单峰函数优化问题.可以采用高效的线性搜索方法求解这些一维的单峰函数优化问题,例如斐波那契算法、黄金分割法.在标准数据集包括大规模数据集上的数值实验验证了FP-TWSVM算法的有效性.实验结果表明,FP-TWSVM在保持与其他模型相当的分类精度的同时,具有更快的训练速度,消耗更少的内存空间.     

Functional iterative approaches for solving support vector classification problems based on generalized Huber loss

Classical support vector machine (SVM) and its twin variant twin support vector machine (TWSVM) utilize the Hinge loss that shows linear behaviour, whereas the least squares version of SVM (LSSVM) and twin least squares support vector machine (LSTSVM) uses L₂-norm of error which shows quadratic growth. The robust Huber loss function is considered as the generalization of Hinge loss and L₂-norm loss that behaves like the quadratic L₂-norm loss for closer error points and the linear Hinge loss after a specified distance. Three functional iterative approaches based on generalized Huber loss function are proposed in this paper to solve support vector classification problems of which one is based on SVM, i.e. generalized Huber support vector machine and the other two are in the spirit of TWSVM, namely generalized Huber twin support vector machine and regularization on generalized Huber twin support vector machine. The proposed approaches iteratively find the solutions and eliminate the requirements to solve any quadratic programming problem (QPP) as for SVM and TWSVM. The main advantages of the proposed approach are: firstly, utilize the robust Huber loss function for better generalization and for lesser sensitivity towards noise and outliers as compared to quadratic loss; secondly, it uses functional iterative scheme to find the solution that eliminates the need to solving QPP and also makes the proposed approaches faster. The efficacy of the proposed approach is established by performing numerical experiments on several real-world datasets and comparing the result with related methods, viz. SVM, TWSVM, LSSVM and LSTSVM. The classification results are convincing.

     

基于具有自适应分段损失函数支持向量机的产品销售预测模型

针对产品销售时序包含噪声的数据特征, 提出一种基于自适应分段损失函数的支持向量机模型(AS??-SVM). AS??-SVM 为每个样本点赋一个单独的不敏感损失值, 以此降低模型对包含较大噪声的样本点的依赖性, 并从理论上证明了该方法可增强模型部分的泛化性能. 将AS??-SVM 与??-SVM 共同应用于处理一个数值算例和一个汽车销售预测实例中, 仿真实验结果表明, AS??-SVM 是有效可行的, 可获得比??-SVM 更精确的预测结果.

     

基于- 范数约束的LSSVR 多核学习算法

针对核函数选择对最小二乘支持向量机回归模型泛化性的影响, 提出一种新的基于????- 范数约束的最小二乘支持向量机多核学习算法. 该算法提供了两种求解方法, 均通过两重循环进行求解, 外循环用于更新核函数的权值, 内循环用于求解最小二乘支持向量机的拉格朗日乘数, 充分利用该多核学习算法, 有效提高了最小二乘支持向量机的泛化能力, 而且对惩罚参数的选择具有较强的鲁棒性. 基于单变量和多变量函数的仿真实验表明了所提出算法的有效性.

     

基于特征值分解的最大间隔支持向量回归机

广义特征值中心支持向量回归机(GEPSVR) 是一种有效的核回归算法, 但其在求解优化问题时易导致奇异 性问题. 为此, 提出一种基于特征值分解的支持向量回归机, 简称IGEPSVR. 与GEPSVR 相比, IGEPSVR 的主要优势 有: 结合最大间隔准则和GEPSVR 几何思想给出了新的距离度量准则; 在优化模型中引入Tikhonov 正则项, 克服了 可能产生的奇异性问题; IGEPSVR 仅需求解两个标准特征值, 降低了计算复杂度. 实验结果表明, 较GEPSVR 算法, IGEPSVR 不仅提高了学习能力, 而且缩短了训练时间.

     

多智能体粒子群优化的SVR 模型预测控制

参数的优化选择对支持向量回归机的预测精度和泛化能力影响显著,鉴于此,提出一种多智能体粒子群算法(MAPSO)寻优其参数的方法,并建立MAPSO支持向量回归模型,用于非线性系统的模型预测控制,推导出最优控制率.采用该算法对非线性系统进行仿真,并与基于粒子群算法、基于遗传算法优化支持向量回归机的模型预测控制方法和RBF神经网络的预测控制方法进行比较,结果表明,所提出的算法具有更好的控制性能,可以有效应用于非线性系统控制中.     

Wavelet twin support vector machine

Twin support vector machine (TWSVM) is a research hot spot in the field of machine learning in recent years. Although its performance is better than traditional support vector machine (SVM), the kernel selection problem still affects the performance of TWSVM directly. Wavelet analysis has the characteristics of multivariate interpolation and sparse change, and it is suitable for the analysis of local signals and the detection of transient signals. The wavelet kernel function based on wavelet analysis can approximate any nonlinear functions. Based on the wavelet kernel features and the kernel function selection problem, wavelet twin support vector machine (WTWSVM) is proposed by this paper. It introduces the wavelet kernel function into TWSVM to make the combination of wavelet analysis techniques and TWSVM come true. The experimental results indicate that WTWSVM is feasible, and it improves the classification accuracy and generalization ability of TWSVM significantly.     

面向属性效应控制的等均值约束支持向量回归机

针对现有的属性效应控制方法无法有效控制非线性回归建模的属性效应问题, 基于间隔最大化和结构风险最小化原则, 通过向SVR 目标学习准则中施加等均值条件约束, 提出等均值支持向量回归机(EM-SVR). 所提出的方法具有较好的泛化能力, 同时继承了EM-LS 的良好性能. 实验结果验证了所提出方法的有效性.

     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

Entropy based fuzzy least squares twin support vector machine for class imbalance learning

In classification problems, the data samples belonging to different classes have different number of samples. Sometimes, the imbalance in the number of samples of each class is very high and the interest is to classify the samples belonging to the minority class. Support vector machine (SVM) is one of the widely used techniques for classification problems which have been applied for solving this problem by using fuzzy based approach. In this paper, motivated by the work of Fan et al. (Knowledge-Based Systems 115: 87–99 2017), we have proposed two efficient variants of entropy based fuzzy SVM (EFSVM). By considering the fuzzy membership value for each sample, we have proposed an entropy based fuzzy least squares support vector machine (EFLSSVM-CIL) and entropy based fuzzy least squares twin support vector machine (EFLSTWSVM-CIL) for class imbalanced datasets where fuzzy membership values are assigned based on entropy values of samples. It solves a system of linear equations as compared to the quadratic programming problem (QPP) as in EFSVM. The least square versions of the entropy based SVM are faster than EFSVM and give higher generalization performance which shows its applicability and efficiency. Experiments are performed on various real world class imbalanced datasets and compared the results of proposed methods with new fuzzy twin support vector machine for pattern classification (NFTWSVM), entropy based fuzzy support vector machine (EFSVM), fuzzy twin support vector machine (FTWSVM) and twin support vector machine (TWSVM) which clearly illustrate the superiority of the proposed EFLSTWSVM-CIL.