基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

基于搜索机制密度聚类的支持向量预选取算法

支持向量机在解决小样本、非线性及高维模式识别问题中具有许多特有的优势,但支持向量的选择过程复杂。该文利用聚类技术的特殊性能,提出基于搜索机制的密度聚类算法,该算法通过一种简单的搜索策略可将密度高于一定限度的对象聚为一类。将该算法用于支持向量的预选取,可减少训练样本数目,提高支持向量机的训练速度。从仿真实验可以看出,通过基于搜索机制密度聚类的支持向量预选取,训练样本数目可减少2/3以上,线性可分的数据训练速度可加快12倍左右,非线性可分的数据训练速度可加快5倍左右。     

改进向量投影的支持向量预选取方法

针对基于向量投影的支持向量预选取方法选取投影直线过于简单粗糙,导致需要选取较多的边界向量才能包含原始问题的支持向量的问题,提出了一种新的支持向量预选取方法.该方法通过定义好的投影直线具备的3个必要特征,提出:对于线性可分情况,利用Fisher线性判别算法来获取最佳的投影直线;对于非线性可分情况,利用特征空间中心向量所在直线作为相应的投影直线.由于该方法确定的投影直线可以更好地对样本投影进行分离,因此,与基于向量投影的支持向量预选取方法相比,该方法可用更少的原始样本来构造边界向量集合,可有效降低支持向量机算法的时空复杂度.在两个人工数据集和一个现实数据集上的实验表明,所提方法不仅可以达到以往各种实用的支持向量机算法分类精度,而且更为高效.     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

最小方差支撑向量回归

基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想,推广最小类方差支撑向量机(MCVSVMs)于回归估计,提出了最小方差支撑向量回归(MVSVR)算法.该方法继承了MCVSVMs鲁棒性和泛化能力强的优点,分析了MVSVR和标准SVR之间的关系,讨论了在散度矩阵奇异情况下该方法的求解问题,同时也讨论了MVSVR的非线性情况.实验表明,该方法是可行的,且表现出了更强的泛化能力.     

基于几何算法的投影孪生支持向量机

投影孪生支持向量机（PTSVM）是最近提出的一种具有较好泛化性能的分类模型,但由于采用内点算法求解二次规划问题,PTSVM的训练速度较慢。针对该缺陷,提出一种快速的、基于几何算法的 PTSVM（GPTS-VM）。遵循 PTSVM的几何思想,提出一种新的二次规划模型,为每类数据产生一个投影方向;然后基于优化理论推导该模型的对偶问题并给予明确的几何解释,并利用计算几何算法求解。实验表明,提出的方法具有更快的训练速度和更好的泛化性能。     

基于无监督聚类的约简支撑向量机

为解决标准支撑向量机算法所面临的巨大的计算量问题,Lee和Mangasarian提出了约简支撑向量机算法;但他们选取的“支撑向量”是从训练样本里面任意选的,其分类结果受随机性影响比较大。该文利用简单的无监督聚类算法,在样本空间中选取了一些具有较强代表性的样本作为“支撑向量”,再运用约简支撑向量机算法,有效地减少了运算量。实验验证文中方法可以用较少的“支撑向量”来得到较高的识别率,同时运行时间也大大缩短。     

基于二分网格的支持向量预选取算法

在SVM训练过程中,二次规划问题的求解制约着SVM应用于大规模数据．SVM的决策函数由邻近分类超平面的部分训练样本——支持向量决定．基于减小训练样本数目、加快SVM训练过程的目的,提出一种基于二分网格的边界样本提取方法．数据仿真实验表明,该方法具有边界样本提取准确、效率高、速度快、能够自适应样本分布的优点,而且不会显著降低SVM分类器的性能．     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

基于投影寻踪和支持向量机的模式识别方法

由于支持向量机(SVM)在处理小样本、高维数及泛化性能强等方面的优势,提出了一种基于投影寻踪(PP)和支持向量机的模式分类方法.利用PP方法把高维数据转换到低维子空间,同时用加速遗传算法获得最佳投影方向和投影值,揭示了高维数据的结构特征,然后在低维空间中用SVM对特征向量进行分类识别,并将其应用到银行信贷风险评估中.选用2005年度80家贷款申请企业的数据样本,对该模型进行验证,通过与神经网络模型的比较,证实了该方法用于模式识别的有效性及优越性.     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

基于支持向量机的股票预测

针对股票预测的特点,选择对上市公司股票走势有重要影响的相关数据进行测试。为了避免传统的预测算法(如BP算法)的一些弊端,使用可以避免这些弊端并且具有良好分类功能的支持向量机对该上市公司股票走势进行预测。测试表明预测的精度明显高于采用BP算法等传统神经网络分类方法的测试结果,预测达到了让人满意的效果。     

支持向量机的中文文本分类研究

支持向量机是一种基于统计学习理论的新型机器学习方法,在文本分类领域取得了很好的效果。使用支持向量机进行了文本分类的研究,实现了一个中文文本自动分类系统,并给出了实验结果。     

基于向量余弦的支持向量机主动学习策略

针对传统基于主动学习的支持向量机（support vector machine,SVM）方法中所采用的欧式距离不能有效衡量高维样本之间的相关程度,导致学习器泛化能力下降的问题,提出了一种基于向量余弦的支持向量机主动学习（SVM active learning based on vector cosine）策略,称为COS_SVMactive方法。该方法通过在主动学习过程中引入向量余弦来度量训练集中样本信息的冗余度,以挑选那些含有重要分类信息的最有价值样本交给专家进行人工标注,并在迭代的样本标注过程中对训练集的平衡度进行逐步调整,使学习器获得更好的泛化性能。实验结果表明,与传统基于随机采样的SVM主动学习方法（SVM active learning based on ran-dom sampling,RS_SVMactive）和基于距离的SVM主动学习方法（SVM active learning based on distance, DIS_SVMactive）相比,COS_SVMactive方法不仅可以提高分类精度,而且能够减少专家标记代价。     

基于模糊支持向量机的网络入侵检测研究

模糊支持向量机理论属于统计学习理论,是支持向量机理论的推广,使支持向量机更好地运用到实际工作中。我们将其运用到网络入侵检测中,实验证明是可行的、高效的,有其特点和优势的。     

基于层叠支持向量机的人脸检测研究

提出一种基于层叠支持向量机的人脸检测算法,用于复杂背景灰度图像的人脸检测。算法首先用线性支持向量机进行粗筛选,滤去大量非人脸窗口,之后用非线性支持向量机对通过的窗口进行分类。实验对比数据表明,该方法降低了分类器的训练难度,计算复杂度较低,大大提高了检测速度。