一种基于支持向量机的半监督分类方法

如何有效利用海量的数据是当前机器学习面临的一个重要任务,传统的支持向量机是一种有监督的学习方法,需要大量有标记的样本进行训练,然而有标记样本的数量是十分有限的并且非常不易获取.结合Co-training算法与Tri-training算法的思想,给出了一种半监督SVM分类方法.该方法采用两个不同参数的SVM分类器对无标记样本进行标记,选取置信度高的样本加入到已标记样本集中.理论分析和计算机仿真结果都表明,文中算法能有效利用大量的无标记样本,并且无标记样本的加入能有效提高分类的正确率.     

用于在线数据分类的半监督最接近支持向量机

为了解决当已分类完未标号样本,又有新的未标号样本的半监督学习问题,提出了能用于在线数据分类的半监督最接近支持向量机。在人工数据和UCI数据集上的实验显示,不因标号数据的增多而提高分类性能,未标号数据基本上不降低其分类性能,因此算法可在线使用。     

支持向量机的半监督网络流量分类方法

针对传统网络流量分类方法准确率低、开销大、应用范围受限等问题,提出一种支持向量机（SVM）的半监督网络流量分类方法。该方法在SVM训练中,使用增量学习技术在初始和新增样本集中动态地确定支持向量,避免不必要的重复训练,改善因出现新样本而造成原分类器分类精度降低、分类时间长的情况;改进半监督Tri-training方法对分类器进行协同训练,同时使用大量未标记和少量已标记样本对分类器进行反复修正, 减少辅助分类器的噪声数据,克服传统协同验证对分类算法及样本类型要求苛刻的不足。实验结果表明,该方法可明显提高网络流量分类的准确率和效率。     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

一种半监督支持向量机优化方法

针对半监督支持向量机在采用间隔最大化思想对有标签样本和无标签样本进行分类时面临的非凸优化问题,提出了一种采用分布估计算法进行半监督支持向量机优化的方法EDA_S3VM。该方法把无标签样本的标签作为需要优化的参数,从而得到一个在标准支持向量机上的组合优化问题,利用分布估计算法通过概率模型的学习和采样来对问题进行求解。在人工数据集和公共数据集上的实验结果表明,EDA_S3VM与其它一些半监督支持向量机算法相比有更高的分类准确率。     

基于信息反馈的半监督支持向量机算法

针对直推式支持向量机中标记速度与标注精度之间的矛盾,提出一种信息反馈的半监督支持向量机算法,该算法利用上轮标注数量、重置次数、未标注边界样本数量等信息,动态调整标记样本数量,对区域标注和成对标注进行折衷,在继承渐进赋值和动态调整的同时,可以平衡标记速度与标记精度之间的矛盾,减少错误的传递和积累.在人工数据集和UCI数据集上的实验结果表明该算法在保证标注准确度的前提下提高算法速度.     

一种基于聚类核的半监督支持向量机分类方法

为了在标记样本数目有限时尽可能地提高支持向量机的分类精度,提出了一种基于聚类核的半监督支持向量机分类方法。该算法依据聚类假设,即属于同一类的样本点在聚类中被分为同一类的可能性较大的原则去对核函数进行构造。采用K-均值聚类算法对已有的标记样本和所有的无标记样本进行多次聚类,根据最终的聚类结果去构造聚类核函数,从而更好地反映样本间的相似程度,然后将其用于支持向量机的训练和分类。理论分析和计算机仿真结果表明,该方法充分利用了无标记样本信息,提高了支持向量机的分类精度。     

一种加权支持向量机分类算法

提出了一种加权C—SVM分类算法,并从理论上分析了算法的性能。该算法通过引入类权重因子和样本权重因子实现了类加权和样本加权两种功能。实验结果表明,该算法可以有效地解决由类大小不均衡引发的分类错误问题以及重要样本的错分问题。     

基于支持向量机的渐近式半监督式学习算法

提出一种基于支持向量机的渐近式半监督式学习算法,它以少量的有标记数据来训练初始学习器,通过选择性取样规则和核参数来调节无标记样本的选择范围和控制学习器决策面的动态调节方向,并通过删除非支持向量来降低学习代价。仿真实验表明,只要能够选择适当的选择性取样的阈值和核参数,这种学习算法就能够以较少的学习代价获得较好的学习效果。     

半监督型广义特征值最接近支持向量机

广义特征值最接近支持向量机(GEPSVM)是近年提出的一种两分类方法.本文结合GEPSVM的平面特点和流形学习,给出一类半监督学习算法SemiGEPSVM.该方法不仅仍保持对诸如XOR问题的分类能力,而且在每类仅有一个有标样本的极端情形下,仍具有适用性.当已标样本不能用于构建超平面时,本文采用k-近邻方法选择样本并标记类别.一旦已标样本的个数可构建超平面时,采用本文的选择方法标记样本.此外,本文还从理论上证明该算法存在全局最优解.最后,SemiGEPSVM算法的有效性在人工数据集和标准数据集上得到验证.     

多项式核函数SVM快速分类算法

标准的SVM分类计算过程中有大量的支持向量参与了计算,导致了分类速度缓慢。该文为提高SVM的分类速度,提出了一种快速的多项式核函数SVM分类算法,即将使用多项式核的SVM分类决策函数展开为关于待分类向量各分量的多项式,分类时通过计算各个多项式的值而得到分类结果,使分类计算量和支持向量数量无关,又保留了全部支持向量的信息。当多项式核函数的阶数或待分类向量的维数较低而支持向量数量较多时,使用该算法可以使SVM 分类的速度得到极大的提高。针对实际数据集的实验表明了该算法的有效性。     

基于支持向量机的遥感图像分类研究综述

遥感技术是目前用于研究地球矿产资源与能源的重要技术手段,遥感图像分类在遥感技术应用中起着关键作用。支持向量机(Support Vector Machines,SVM)是基于VC维(Vapnik-Chervonenkis Dimension)理论和结构风险最小化原理的机器学习方法,已被广泛应用于实际的遥感影像分类中。 对 国内外学者对此做的大量研究 成果进行了系统的总结。对基于支持向量机的遥感图像分类方法进行了层次性梳理,不但纵向分析和比较了每类方法的原理及优缺点,而且对各类方法进行了横向比较和分析,较为系统和完整地概括了基于支持向量机的遥感影像分类方法的研究现状。最后指出了支持向量机算法应用于遥感图像分类的未来发展方向。     

基于K近邻的支持向量机分类方法

针对支持向量机对噪声和孤立点非常敏感,以及对大规模且交错严重的训练集支持向量个数多,分类速度慢和精度低等问题,基于KNN方法提出KNN-SVM分类器.首先在特征空间中,根据每个样本K个近邻中同类别样本数目的多少来删减样本集,然后对新样本集进行SVM训练;又证明了当取高斯核函数或指数核函数时,上述删减方法可简化为在原空间中进行.该方法减少了由噪声和孤立点以及一些对分类面贡献不大的样本所带给训练器的负担,减少了支持向量的个数,从而与SVM相比,加快了训练和测试速度,提高了分类精度.仿真实验表明KNN-SVM具有上述优势,而且比NN-SVM更能合理地删减样本集,达到更高的分类精度.     

Maximal Discrepancy for Support Vector Machines

The Maximal Discrepancy (MD) is a powerful statistical method, which has been proposed for model selection and error estimation in classification problems. This approach is particularly attractive when dealing with small sample problems, since it avoids the use of a separate validation set. Unfortunately, the MD method requires a bounded loss function, which is usually avoided by most learning algorithms, including the Support Vector Machine (SVM), because it gives rise to a non-convex optimization problem. We derive in this work a new approach for rigorously applying the MD technique to the error estimation of the SVM and, at the same time, preserving the original SVM framework.     

一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.     

代价敏感支持向量机

以分类精度为目标的传统分类算法通常假定：每个样本的误分类具有同样的代价且每类样本数大致相等．但现实数据挖掘中该假定不成立时,这些算法的直接应用不能取得理想的分类和预测．针对此缺隙,并基于标准的SVM,通过在SVM的设计中集成样本的不同误分类代价,提出代价敏感支持向量机（CS-SVM）的设计方法．实验结果表明CS-SVM是有效的．     

一种基于支持向量机思想的无监督聚类算法

支持向量机作为一种新的机器学习方法,由于其建立在结构风险最小化准则之上,而不是仅仅使经验风险达到最小,从而使对支持向量分类器具有较好的推广能力。本文分析了支持向量机在解决无监督分类问题上的不足,提出一种基于支持向量机思想的最大间距的聚类新方法。实验结果表明,该算法能成功地解决很多非监督分类问题。     

应用遗传算法优化子空间的SVM分类算法

提出了一种应用遗传算法优化子空间的SVM分类算法GS-SVM。该算法首先改进样本选择策略,采用基于置信度和凸包的样本选择方法,考虑类间距离和样本分布等因素,选择典型代表样本作为SVM的新训练集;然后采用矩阵式混合编码方式,利用遗传算法一并优化代表样本的特征子空间和SVM分类参数,并根据特征优化后的代表样本,构建SVM分类模型。在UCI的11个数据集上进行的仿真实验结果表明,该算法在大部分数据集上均可获得较小的样本规模和特征维数,以及较高的分类精度。