光滑分段孪生支持向量机

为了解决Sigmoid的积分函数对正号函数的逼近精度低的问题,引入一种具有更强逼近正号函数能力的光滑函数即分段函数,提出了光滑分段孪生支持向量机,并用快速Newton-Armijo算法对其求解.在NDC和UCI数据集上的实验结果表明:光滑分段孪生支持向量机能够有效地处理大规模和高维度数据,且分类精度和分类速度与光滑孪生支持向量机相比得到了改进.     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

光滑支持向量分类机的收敛上界研究

Lee 等人使用光滑技术,提出了光滑支持向量分类机模型(SSVM),但该分类机的收敛上界问题尚待解决.介绍了光滑支持向量分类机模型的原理,用集合论等方法证明模型 SSVM 的收敛性,然后得到收敛上界的计算公式.成功解决了光滑支持向量分类机的收敛上界问题.     

一种多项式光滑的半监督支持向量机分类算法

为了处理半监督支持向量机优化中的非凸非光滑问题,引入一个多项式光滑函数来逼近非凸的目标函数,给出的多项式函数在样本的高密度区逼近精度高,逼近精度低时出现在样本的低密度区.采用共轭梯度法求解模型.在人工数据和UCI数据库中的4个数据集上的实验结果显示,算法不仅能保证标号数据很少时的分类精度,而且不因标号数据的增多而明显提高分类性能,因此给出的分类器性能是稳定的.     

鲁棒的光滑支持向量机

光滑支持向量机(Smooth Support Vector Machine,SSVM)是传统支持向量机的一种改进模型,它利用光滑方法将传统支持向量机的二次规划问题转化成无约束优化问题,并使用Newton-Armijo算法求解该无约束优化问题。在光滑支持向量机的基础上提出了鲁棒的光滑支持向量机(Robust Smooth Support Vector Machine,RSSVM),其利用M-estimator代替SSVM中基于L2范数的正则化项,并利用半二次最小化优化方法求解相应的最优化问题。实验结果表明所提方法可以有效地提高SSVM的抗噪声能力。     

求解广义支持向量机的光滑型算法

提出一种求解支持向量机(SVMs)的光滑型算法.该算法基于其对偶优化模型的KKT系统,提出一类新的光滑函数族,将其KKT系统重构为一个光滑方程组,并采用光滑型算法进行求解.在适当的条件下,该算法是全局收敛和局部超线性收敛的.多个算例表明该算法非常有效,具有广阔的应用前景.     

一阶多项式光滑的支持向量分类机的一般模型

研究了在一个包含原点的一般区间导出了一类光滑正号函数的一阶函数,还研究了用此类函数对支持向量机作光滑处理的问题,提出了一阶多项式光滑的支持向量机的一般模型1SSVM(1st—order Smooth Support Vector Machine)。理论分析表明,文献[2]中所用的一阶光滑函数是此类函数的一个特例,其提出的一阶光滑的支持向量机也是模型1SSVM的一个特例,从而在理论上解决了一阶多项式光滑的支持向量机的一般模型问题。     

基于半监督支持向量机的并行远同源检测方法*

在生物信息学中,对给定氨基酸序列的蛋白质进行分类,检测细微的蛋白质序列相似性或远同源性对于准确预测蛋白质功能和结构都非常重要。提出一种新的基于半监督支持向量机的远同源性检测方法,通过定义序列概率剖面,充分利用大型数据库的非标记数据,并行构筑支持向量机核函数,并结合最近邻分类器实现对任何数据的全覆盖。实验表明,该方法能够大幅提高蛋白质序列分类器的性能与效率。使用并行技术将总体计算时间控制在一定范围,推动了半监督支持向量机分类器的广泛应用。     

加权光滑CHKS孪生支持向量机

针对光滑孪生支持向量机(smooth twin support vector machines,简称STWSVM)采用的Sigmoid 光滑函数逼近精度低和STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称WSCTWSVM).不仅从理论上证明了SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了WSCTWSVM 的有效性和可行性.     

基于支持向量机的渐近式半监督式学习算法

提出一种基于支持向量机的渐近式半监督式学习算法,它以少量的有标记数据来训练初始学习器,通过选择性取样规则和核参数来调节无标记样本的选择范围和控制学习器决策面的动态调节方向,并通过删除非支持向量来降低学习代价。仿真实验表明,只要能够选择适当的选择性取样的阈值和核参数,这种学习算法就能够以较少的学习代价获得较好的学习效果。     

一个新的多项式光滑支持向量机

光滑支持向量机(SSVM)是支持向量机(SVM)的快速求解模型,拥有更快的求解速度和训练效果。基于光滑的分段多项式函数和插值思想推导出一个新的光滑函数,从而可以更好地逼近正号函数。通过所得到的新光滑函数改进多项式光滑支持向量机模型(PSSVM),得到了更新的光滑支持向量机模型。还给出了新光滑函数的逼近性能和精度分析以及新模型的收敛性证明和最优解的逼近上限。数值实验表明,所提出的新光滑支持向量机模型性能优于PSSVM模型。     

Least Square Transduction Support Vector Machine

Support vector machine (SVM) is a general and powerful learning machine, which adopts supervised manner. However, for many practical machine learning and data mining applications, unlabeled training examples are readily available but labeled ones are very expensive to be obtained. Therefore, semi-supervised learning emerges as the times require. At present, the combination of SVM and semi-supervised learning principle such as transductive learning has attracted more and more attentions. Transductive support vector machine (TSVM) learns a large margin hyperplane classifier using labeled training data, but simultaneously force this hyperplane to be far away from the unlabeled data. TSVM might seem to be the perfect semi-supervised algorithm since it combines the powerful regularization of SVMs and a direct implementation of the clustering assumption, nevertheless its objective function is non-convex and then it is difficult to be optimized. This paper aims to solve this difficult problem. We apply least square support vector machine to implement TSVM, which can ensure that the objective function is convex and the optimization solution can then be easily found by solving a set of linear equations. Simulation results demonstrate that the proposed method can exploit unlabeled data to yield good performance effectively.     

Quantum Fuzzy Support Vector Machine for Binary Classification

In the objective world, how to deal with the complexity and uncertainty of big data efficiently and accurately has become the premise and key to machine learning. Fuzzy support vector machine (FSVM) not only deals with the classification problems for training samples with fuzzy information, but also assigns a fuzzy membership degree to each training sample, allowing different training samples to contribute differently in predicting an optimal hyperplane to separate two classes with maximum margin, reducing the effect of outliers and noise, Quantum computing has super parallel computing capabilities and holds the promise of faster algorithmic processing of data. However, FSVM and quantum computing are incapable of dealing with the complexity and uncertainty of big data in an efficient and accurate manner. This paper research and propose an efficient and accurate quantum fuzzy support vector machine (QFSVM) algorithm based on the fact that quantum computing can efficiently process large amounts of data and FSVM is easy to deal with the complexity and uncertainty problems. The central idea of the proposed algorithm is to use the quantum algorithm for solving linear systems of equations (HHL algorithm) and the least-squares method to solve the quadratic programming problem in the FSVM. The proposed algorithm can determine whether a sample belongs to the positive or negative class while also achieving a good generalization performance. Furthermore, this paper applies QFSVM to handwritten character recognition and demonstrates that QFSVM can be run on quantum computers, and achieve accurate classification of handwritten characters. When compared to FSVM, QFSVM’s computational complexity decreases exponentially with the number of training samples.     

基于核函数的支持向量机分类方法

支持向量机是目前正在兴起的一种新的数据挖掘分类方法,阐述了支持向量机的理论基础及核函数,阐明了支持向量机分类的基本思想,分析了支持向量机的优缺点,对支持向量机在海量数据分类中的应用前景进行了展望。     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

一种向量预选取的分段支持向量机回归算法

针对数据波动剧烈时,一组特定的支持向量机回归参数无法满足随数据分布而改变的要求,导致回归曲线达不到所要求的精度的问题,同时针对如何有效删除在回归过程中某些非必要的数据以加快求解速度的问题,本文提出一种向量预选取的分段支持向量机回归算法．该算法首先根据数据空间分布特点删除一些非必要数据,然后根据不同区域样本的复杂程度对区间进行分段,针对各个区域设置相应的参数．仿真实验证明：p-p-SVR算法在保持回归精度的同时,较传统方法具有更好的泛化性能．     

基于向量投影的支撑向量预选取

支撑向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点．但在支撑向量机中,支撑向量的选取相当困难,这也成为限制其应用的瓶颈问题．该文对支撑向量机的机理经过认真分析,研究其支撑向量的分布特性,在不影响分类性能的前提下,提出了基于向量投影的支撑向量预选取法,从训练样本中预先选择具有一定特征的边界向量来代替训练样本进行训练,这样就减少了训练样本,大大加快了支撑向量机的训练速度。     

多项式光滑的支撑向量机

数据分类问题是数据挖掘研究的一个热门课题．它是根据对数据样本集合建模,得到最优的分类器,从而可以对未知数据进行分类．支撑向量机是二分类问题的一个分类模型,模型的结果表现为支撑向量．Lee和Mangasarian在2001年提出了使用Sigmoid函数的积分函数作光滑的支撑向量机模型SSVM．该文研究了用多项式函数作光滑的支撑向量机(PSSVM)模型,并提出了两个用于光滑多项式的函数．根据模型特点,应用BFGS方法以及Newton Armijo方法进行求解,数值实验结果表明PSSVM模型在分类性能上优于SSVM模型．