针对大规模训练集的支持向量机的学习策略

当训练集的规模很大特别是支持向量很多时．支持向量机的学习过程需要占用大量的内存,寻优速度非常缓慢,这给实际应用带来了很大的麻烦．该文提出了一种针对大规模样本集的学习策略：首先用一个小规模的样本集训练得到一个初始的分类器,然后用这个分类器对大规模训练集进行修剪,修剪后得到一个规模很小的约减集,再用这个约减集进行训练得到最终的分类器．实验表明,采用这种学习策略不仅大幅降低了学习的代价,而且这样获得的分类器的分类精度完全可以与直接通过大规模样本集训练得到的分类器的分类精度相媲美,甚至更优,同时分类速度也得到大幅提高．     

OCSVM集成模型解决支持向量机的大规模训练问题

该文针对集成方法实现支持向量机大规模训练的相关问题进行了深入研究,提出了一种称为"DD-Boosting"的成员分类器产生算法,能够在大规模数据集情况下利用类似Boosting技术产生稳定、高泛化性能的成员分类器。在此基础上,推导出基于OCSVM的分类器集成模型,实验仿真表明,该集成模型能够获得比主投票方法更好的泛化性能,且通过调整正则参数避免了训练过拟合问题。     

大规模数据集下支持向量机训练样本的缩减策略

大量数据下支持向量机的训练算法是SVM研究的一个重要方向和焦点。该文从分析SVM训练问题的实质和难点出发,提出一种在训练前先求出类别质心,去除非支持向量对应的样本,从而达到缩小样本集的方法。该方法在不损失分类正确率的情况下具有更快的收敛速度,并从空间几何上解释了支持向量机的原理。仿真实验证明了该方法的可行性和有效性。     

核向量机与支持向量机相结合的二阶段快速学习方法

支持向量机(SVM)作为一种有效的模式分类方法,当数据集规模较大时,学习时间长、泛化能力下降;而核向量机(CVM)分类算法的时间复杂度与样本规模无关,但随着支持向量的增加,CVM的学习时间会快速增长。针对以上问题,提出一种CVM与SVM相结合的二阶段快速学习算法(CCS),首先使用CVM初步训练样本,基于最小包围球(MEB)筛选出潜在核向量,构建新的最有可能影响问题解的训练样本,以此降低样本规模,并使用标记方法快速提取新样本;然后对得到的新训练样本使用SVM进行训练。通过在6个数据集上与SVM和CVM进行比较,实验结果表明,CCS在保持分类精度的同时训练时间平均减少了30%以上,是一种有效的大规模分类学习算法。     

一种聚簇消减大规模数据的支持向量分类算法

针对支持向量分类机对大规模数据集训练速度慢的瓶颈,提出一种聚簇消减数据集方法.首先建立样本中心距离函数,计算聚簇集的比例半径,然后利用聚簇集镜像扫描样本点确定簇集类,同一类样本特性的聚簇集中只保留代表样本点,建立异类点删除矩阵,通过上述方法消减样本集.证明了这种簇消减算法有较低的时间复杂度,并利用实验说明了保留代表点的有效意义.最后通过随机数据和UCI标准数据库验证了算法在保证分类精度的同时提高了分类速度.     

非均衡数据的去噪模糊支持向量机新方法

针对支持向量机对噪声的敏感,以及当两类训练样本数量差别悬殊时,造成分类结果倾向较大类等弱点,通过理论分析,合理地设计隶属度函数,提出了一种新隶属度函数的模糊支持向量机。该方法既可补偿倾向性造成的不利影响,又可增加抗噪声能力,提高预测分类精度。最后通过对含噪声的非均衡数据实验表明,该方法比传统支持向量机和简单去噪模糊支持向量机都有着较高的分类能力。     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

基于时序核函数的支持向量回归机

为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机（Support Vector Machine,SVM）提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫（SO2）数据为实验数据验证该方法的有效性．实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高．     

基于壳向量和中心向量的支持向量机

针对支持向量机(Support vector machines,SVMs)中大规模样本集训练速度慢且分类精度易受野点影响的问题,提出一个基于样本几何信息的支持向量机算法.其基本步骤是,首先分别求取每类样本点的壳向量和中心向量,然后将求出的壳向量作为新的训练集进行标准的SVM训练得到超平面的法向量,最后利用中心向量来更新法向量从而减少野点的影响得到最终的分类器.实验表明,采用这种学习策略,不仅加快了训练速度,而且在一般情况下也提高了分类精度.     

支持向量机训练算法比较研究

论文介绍了一种年轻的机器学习方法——支持向量机,详细论述了目前主要的支持向量机的训练算法,包括:二次规划算法,分解算法和增量算法。通过实验验证了普通二次规划算法的缺陷,比较了三种典型的SVM分解训练算法的性能,说明了其相对于二次规划算法的优点和对SVM训练问题的适用性,指出了训练速度优劣的原因。最后指出了未来支持向量机训练算法研究的方向。     

适于大规模数据集的块增量学习算法: BISVM

对支持向量机的大规模训练问题进行了深入研究,提出一种类似SMO的块增量算法.该算法利用increase和decrease两个过程依次对每个输入数据块进行学习,避免了传统支持向量机学习算法在大规模数据集情况下急剧增大的计算开销.理论分析表明新算法能够收敛到近似最优解.基于KDD数据集的实验结果表明,该算法能够获得接近线性的训练速率,且泛化性能和支持向量数目与LIBSVM方法的结果接近.     

一种基于局部敏感哈希的SVM快速增量学习算法

为了提高大规模高维度数据的训练速度和分类精度,提出了一种基于局部敏感哈希的SVM快速增量学习方法。算法首先利用局部敏感哈希能快速查找相似数据的特性,在SVM算法的基础上筛选出增量中可能成为SV的样本,然后将这些样本与已有SV一起作为后续训练的基础。使用多个数据集对该算法进行了验证。实验表明,在大规模增量数据样本中,提出的SVM快速增量学习算法能有效地提高训练学习的速度,并能保持有效的准确率。     

增量式SVM的数据流异常检测模型

针对网络数据流异常检测,既要保证分类准确率,又要提高检测速度的问题,在原有数据流挖掘技术的基础上提出一种改进的增量式学习算法.算法中建立多模型轮转结构,在每次训练中从几何角度出发求出当前训练样本集的支持向量,选择出分布于超平面间隔中的支持向量进行增量SVM训练.使用UCI标准数据库中的数据进行实验,并且与另外两种经典分类模型进行比较,结果表明了方法的有效性.     

基于间隔区域样本数量的加权支持向量机

分析了数量不对称的样本在允许训练误差的支持向量机训练时产生的最优分界面偏移的问题,认为支持向量机的最优分界面位置取决于间隔（margin）区域中正反例样本数量的比例,而不是传统加权支持向量机所采用的全部正反例样本的数量比。对间隔区域中正反例数量不对称的两类样本采用同样的折衷因子将导致最优分界面向间隔区域中样本较少的类别方向偏移。提出了将折中因子与问隔区域中样本的数量比例联系起来的加权支持向量机,并提出了一种在核函数特征空间估计间隔区域样本数量的方法。试验证明该方法町以提高加权支持向量机的分类性能。     

用混沌理论优化SVM核参数的研究

混沌优化算法是一种有效的全局优化算法,其计算复杂度较低,搜索速度快。支持向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点。但支持向量机的识别性能对于参数的选择是敏感的,提出用混沌优化算法来优化支持向量机的参数,不仅提高了支持向量机的性能,而且解决了传统的选取参数方法计算量大、参数多时难以奏效的问题。仿真结果表明性能较好、计算量较少。     

支持向量机用于多溴联苯醚蒸汽压的QSPR研究

应用ChemOffice 8.0中的MOPAC-PM3算法计算得到多溴联苯醚(PBDEs)的6个量子化学参数,采用基于多项式核,径向基核及Sigmoid核的支持向量机(SVM)方法建立了23种PBDEs蒸汽压的QSPR模型.三类核函数对训练集拟合的相关系数R2分别为0.994,0.996,0.994.,均方误差MSE分别为0.0102,0.0081,0.0095;留一法交叉验证(LOO)的相关系数分别为0.992,0.991,0.991.对测试集进行同归的相关系数分别为0.994,0.986,0.991,均方误差MSE分别为0.0225,0.0458,0.0247.结果表明SVM回归算法在PBDEs蒸汽压的QSPR建模上表现出色,核函数的选择对SVM模犁性能影响不显著.文章还从模型拟合效果、预测能力及稳定性三方面比较了三类核函数的整体性能,并比较了支持向量数目对核函数预测能力的影响.结果表明多项式核与Sigmoid核性能相当,优于径向基核.     

基于多个混合核函数的SVM决策树算法设计

不同的核函数具有不同的特性,SVM决策树中每个子SVM面对的分类对象不同,选取的核函数及其参数也应该不同。通过调节混合核函数的参数形成不同的核函数,给出了一个用多个混合核函数训练SVM决策树的多类分类算法。仿真试验表明,该算法与只用一个核函数训练SVM决策树的算法相比,具有较高的分类精度。     

小波统计量和多类支持向量机的密写检测算法

提出了一种基于小波统计量和多类支持向量机的彩色图像密写检测算法。为克服以往将彩色图像转化为灰度图像引起的各颜色通道相关性损失的不足,算法建立了彩色图像统计模型。对彩色图像每个颜色通道分别进行小波分解,根据小波分解系数绝对值和绝对值线性预测的对数误差生成特征向量,并采用多类支持向量机进行模式分类。在特定嵌入率下对几种常见的密写软件生成的密写图像进行测试。实验表明此算法具有一定的通用性,对密写图像具有较高的识别率。     

大型稀疏线性方程组符号LU分解法

基于有限元总刚矩阵的大规模稀疏性、对称性等特性,采用全稀疏存储结构以及最小填入元算法,使得计算机的存储容量达到最少。为了节省计算机的运算时间,对总刚矩阵进行符号LU分解方法,大大减少了数值求解过程中的数据查询。这种全稀疏存储结构和符号LU分解相结合的求解方法,使大规模稀疏线性化方程组的求解效率大大提高。数值算例证明该算法在时间和存贮上都较为占优,可靠高效,能够应用于有限元线性方程组的求解。     

SVM中不平衡数据的分离超平面的校正方法

针对两类不平衡数据的分离超平面的偏移问题提出一种平衡方法。首先,对两类样本数据在核空间中进行核主成分分析,分别求出两类样本数据的在特征空间中的主要特征值;然后,根据两样本容量以及各自的特征值所提供的信息,对两类数据给出惩罚因子比例;最后,通过优化训练,产生一个新的分离超平面。该分类面校正了标准的支持向量机的分类误差。实验显示了所提出方法的有效性,即与标准的支持向量机相比,不仅平衡了错分率而且还能减少错分率。