基于支持向量机的增量学习算法研究

分析了支持向量机理论中支持向量的特性,利用支持向量与样本空间划分的等价性,提出一种新的基于支持向量机的增量学习算法.该算法考虑新增样本集的分布可能改变对已有样本的分类结果,利用支持向量的分布特性,用对样本的划分差集构造新的支持向量集和分类平面,使差集中的样本点对分类贡献尽可能最大,有效提高了分类精度.同时差集操作简单易行,有效降低了问题的计算复杂度.实验结果表明,与常规增量算法相比,该算法在不改变时间复杂度量级的前提下对分类精度有显著提高.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

基于多支持向量机分类器的增量学习算法研究

为了将一般增量学习算法扩展到并行计算环境中,提出一种基于多支持向量机分类器的增量学习算法.该算法根据多分类器对新增样本集的分类结果,以样本到分类超平面的平均距离为条件重新构造支持向量集更新分类器,直到所有分类器的分类精度满足指定阈值.实验结果表明了该算法的可行性和正确性.     

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向最机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时问,提高训练的速度,从而具有更好的推广能力.     

一类支持向量机的快速增量学习方法

提出一类支持向量机（OCSVM）的快速增量学习方法. 在OCSVM初始分类器的基础上, 添加一个德尔塔函数形成新的决策函数, 实现增量学习的过程. 通过分析德尔塔函数的几何特性, 构造出与OCSVM相似的优化目标函数, 从而求解德尔塔函数的参数. 优化问题能够进一步转化为标准的二次规划(QP)问题, 但是在优化过程中Karush-Kuhn-Tucker（KKT）条件发生很大改变. 根据新的KKT条件, 为QPP提出修正的序贯最小优化（SMO）求解方法. 整个学习过程直接操作初始分类器,仅仅训练新增样本,避免了对初始样本的重复训练, 因此能够节约大量的学习时间和存储空间. 实验结果表明, 提出的快速增量学习方法在时间和精度上均优于其他的增量学习方法．     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

基于最小二乘支持向量机的数控机床热误差预测

为实现数控机床热误差的补偿控制,提出基于最小二乘支持向量机进行数控机床热误差建模预测的方法.根据最小二乘支持向量机回归预测的原理,优化选择最小二乘支持向量机参数,对数控车床热误差进行最小二乘支持向量机建模.通过测量数控车床主轴温升值与主轴热变形量,将获得的数据进行最小二乘支持向量机建模训练,以建立机床热误差预测模型.实验结果表明,该模型能有效描述热动态误差,与最小二乘法建模进行比较,结果显示,基于最小二乘支持向量机的数控机床热误差预测模型精度高、泛化能力强;采用最小二乘支持向量机得到的预测模型可用于数控机床热误差实时补偿,以提高机床的加工精度.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

基于相空间重构和最小二乘支持向量机的滑坡预测

针对滑坡位移时间序列的非线性特性,引入基于相空间重构和最小二乘支持向量机（LSSVM）的预测法.利用Cao氏方法确定嵌入维数,根据互信息法计算最佳延迟时间;然后在相空间中,利用最小二乘支持向量机（LSSVM）建立预测模型.试验结果表明,模型具有较高的精度,是科学可行的.     

和声搜索最小二乘支持向量机预测模型及其应用

为了改进目前最小二乘支持向量机(LSSVM)参数选择的盲目性,将和声搜索(Harmony Search)算法引入到最小二乘支持向量机中来.利用具有全局优化功能的和声搜索算法对LSSVM中正则化参数γ和核函数参数σ的进行自动优选,提出了和声搜索最小二乘支持向量机(Harmony Search Least Squares Support Vector Machine,HS-LSSVM)算法.通过对丰满大坝位移的建模预测并和BP神经网络模型及传统统计回归模型的分析比较,表明HS-LSSVM模型具有更小的预测误差和更高的预测精度.     

一种新型的增式SVM训练算法

针对传统的增式支持向量机算法在计算时间和分类效率上的不足,提出了一种新型的增式SVM训练算法。该算法不是简单地保留上一步训练的支持向量,而是通过增加KKT(Karush-Kuhn-Tucke)限制条件并对决策函数的输出设定一个阈值,使得保留下来的样本都是最有效的样本,从而可减少训练样本的数目。在仿真实验中,选择了一组UCI数据,并选用RBF核函数作为核函数。实验结果表明:与传统增式算法相比,新算法在保证传统SVM性能的同时,在迭代速度和分类放率上分别提高了14%和4.39%。     

基于概率型支持向量分类机的Q学习

按TD误差标准,把Q学习系统的状态-动作空间粗略地划分为正负2类.为了描述分类的不确定性和避免简单分类导致的学习精度下降问题,利用概率型支持向量分类机(PSVCM)来使得样本的分类同时具有定性的解释和定量的评价.PSVCM的输入为系统的连续状态和离散动作,输出为带有概率值的类别标签.对由PSVCM判定为正类的离散动作按其概率值进行加权求和,即可得到连续动作空间下的Q学习控制策略.小船靠岸问题的仿真结果表明,与基于传统支持向量分类机的Q学习相比,所提方法不仅能够有效解决具有连续状态和连续动作的非线性系统的Q学习控制,而且其控制性能对初始动作的设置不敏感.     

一种改进的简化支持向量机

在针对大样本问题时,支持向量机所需训练时间和内存都急剧增加。为解决这一问题,提出一种改进的支持向量机简化方案。根据能成为支持向量的样本主要分布在边界上,该方案提出改进提取边界样本的方法提高约简率,保留边界样本并约简非边界样本来减小样本规模。经实验验证,此约简方法约简效果好,泛化性能几乎没有损失,表明该方案有效可行。     

一种改进的双支持向量机

双支持向量机是近年提出的一种新的支持向量机。在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力。但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性。为了克服这个缺点,提出了一种基于模糊隶属度的双支持向量机。该算法设计了一种基于距离的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类。实验结果表明,这种改进双支持向量机的分类性能优于传统的双支持向量机。     

支持向量机回归算法及其应用

支持向量机是建立在统计学习理论基础上的通用学习方法,它可较好地解决以往很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题。笔者利用支持向量回归理论和方法,建立支持向量机的预测模型,并利用winSVM和MATLAB软件进行了实例预测,与二次回归预测值相比较,支持向量机预测模型具有更好的预测精度,且有很强的推广能力。     

支持向量机及其应用研究

支持向量机是一种新型机器学习方法,因其出色的学习性能,已成为当前国际机器学习界的研究热点.作者介绍了支持向量机的理论依据及其研究进展.     

基于二维Gabor小波和支持向量机的人脸识别

针对人脸识别中的高维、小样本问题,提出了一种基于二维Gabor小波和支持向量机的人脸识别方法。首先对人脸图像进行多分辨率的Gabor滤波,对得到的人脸Gabor特征向量空间进行均匀下采样来降低特征空间维数,然后用主成分分析方法来进一步降低人脸Gabor特征向量空间的维数。接着把得到的人脸Gabor特征向量作为支持向量机的输入进行训练获得人脸分类器。通过对ORL和Yale两个人脸库的试验,表明该方法具有识别率高和鲁棒性强的特点。     

基于支持向量机的曲线重建方法

基于统计学习理论(SLT)的支持向量机(SVM)在高维空间中表示复杂函数是一种有效的通用方法，也是一种新的、很有发展前景的机器学习算法。文中简要介绍了基于支持向量机的理论，并在此基础上提出了一种基于支持向量机(SVM)的曲线重建算法，最后给出了实验，证明了该方法的有效性。     

基于支持向量预选取的分类方法

提出了一种基于支持向量预选取的两类分类方法,在不影响分类性能的前提下,根据支持向量的几何特征,采用向量投影的概率分布法和减法聚类再选取法,在训练样本集中预先选择与分类有关的一组支持向量,代替整个训练样本集,进行支持向量机两类分类.数据实验结果表明,该方法有效地提高了支持向量机分类器的学习效率,实现了较高的分类精确度.