基于作用集的一类支持向量机递推式训练算法

为了求解一类支持向量机（1-SVM）的二次规划问题（QPP）,利用该QPP的稀疏解集性质,提出了基于作用集的1-SVM递推式训练算法. 将支持向量集设定为作用集,迭代地局部优化作用集以获得全局最优解,并引进递推式算法降低计算复杂度。不同于序贯最小优化（SMO）收敛目标函数的思路,该算法寻找支持向量在最优状态下的分布,对Karush-Kuhn-Tucker（KKT）条件不敏感,并可获得解析的最优值。仿真结果表明,本算法在计算时间和精度上均优于SMO,可有效地应用于1-SVM的大样本学习。     

支持向量机的增量学习和减量学习

分别介绍了支持向量机的增量学习和减量学习的两种训练方法,即在线递归训练法和最小二乘支持向量机.递归法只能处理在线(每次只处理一个样本)增量学习或减量学习,而最小二乘法即可处理在线又可处理成批增量学习或减量学习.递归法得到的解是精确的但是以时间为代价的,最小二乘法花费的时间少,但得到的解不如递归法的精确.并通过标准模式分类库中数据集进行数值试验比较.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

基于支持向量机的增量学习算法研究

分析了支持向量机理论中支持向量的特性,利用支持向量与样本空间划分的等价性,提出一种新的基于支持向量机的增量学习算法.该算法考虑新增样本集的分布可能改变对已有样本的分类结果,利用支持向量的分布特性,用对样本的划分差集构造新的支持向量集和分类平面,使差集中的样本点对分类贡献尽可能最大,有效提高了分类精度.同时差集操作简单易行,有效降低了问题的计算复杂度.实验结果表明,与常规增量算法相比,该算法在不改变时间复杂度量级的前提下对分类精度有显著提高.     

基于壳向量的线性支持向量机快速增量学习算法

提出了一种新的基于壳向量的增量式支持向量机快速学习算法.在增量学习的过程中，利用训练样本集中的几何信息，在样本中选取一部分最有可能成为支持向量的样本--壳向量，它是支持向量集的一个规模较小的扩展集，将其作为新的训练样本集，再进行支持向量训练.这在很大程度上减少了求取支持向量过程中的二次优化运算时间，使增量学习的训练速度大为提高.与单纯使用支持向量代表样本数据集合进行增量学习的传统算法相比，使用该算法使分类精度得到了提高.针对肝功能检测标准数据集（BUPA）的实验验证了该算法的有效性.     

基于多支持向量机分类器的增量学习算法研究

为了将一般增量学习算法扩展到并行计算环境中,提出一种基于多支持向量机分类器的增量学习算法.该算法根据多分类器对新增样本集的分类结果,以样本到分类超平面的平均距离为条件重新构造支持向量集更新分类器,直到所有分类器的分类精度满足指定阈值.实验结果表明了该算法的可行性和正确性.     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

基于一类支持向量机的财务数据异常模式识别

财务监督在反腐倡廉建设中发挥着重要作用,但是财务数据具有非平稳、非线性、信噪比低等特点,且没有专门用于鉴别财务数据异常的训练集。将金融交易数据以周为时间跨度生成时间序列,选择交易总金额、交易离散系数、转账次数作为财务账户数据的特征,利用基于统计学习理论的一类支持向量机(one class SVMs)实现金融交易数据的无监督分类,从而识别出可疑异常财务数据。采用径向基函数作为一类支持向量机的核函数,运用交叉验证法选择核参数γ和惩罚参数C。仿真数据异常检测实验证明了该方法的有效性,并检测出了实际财务账户数据中的可疑值。      

支持向量机在线训练算法及其应用

针对支持向量机在线训练算法训练速度较慢和无法处理边缘支持向量集合为空的缺点,以KKT条件和拉格朗日乘数法为基础,用严格的数学推导得到一种改进的训练算法.通过建立一个矩阵缓存来保存与核函数相关的数据,给出在算法中有效操作该矩阵缓存的方法以加快训练速度;边缘支持向量集合为空时,修改模型的偏值项使样本进入该集合,训练算法得以继续运行;并讨论了该算法在在线系统辨识中的应用.仿真实验和分析结果表明: 对于非线性时变系统,改进算法的建模精度较高,训练速度较原算法有了很大的提高.     

支持向量机改进序列最小优化学习算法

为提高支持向量机序列最小优化学习算法的学习性能,提出了一种支持向量机改进序列最小优化学习算法,对传统SMO学习方法进行了多方面改进,从优化变量的选择和2个变量的优化方法分别提出具体可行的改进方法．改进后的SMO学习算法提高了学习速度,加快了网络收敛速度．基于改进SMO算法的仿真结果验证了改进SMO算法的有效性和优越性,并通过仿真,与原始算法进行了比较,显示了改进SMO算法的快速性．     

基于支持向量机的增量式算法

为了扩展支持向量机在大规模数据集和成批出现数据领域的应用,提出了一种基于支持向量机的增量式学习算法.利用标准的支持向量机算法训练得到初始的目标概念,通过增量式步骤不断更新初始的目标概念.更新模型是求解一个与标准支持向量机具有类似的数学形式的凸二次规划问题.证明了在可分情况下,如果新增加的样本不是位于边界区,那么增量式过程既不会改变分类平面也不会改变分类平面的表达.与现有的增量式支持向量机算法相比,该算法无需额外计算就可实现增量式的逆过程并且训练时间与增量式步骤数成反比.实验结果表明,该算法满足稳定性、能够不断改进性能以及性能回复三个准则.     

局部密度嵌入的结构单类支持向量机

针对现有单类分类器对目标数据先验信息考虑的不足,在结构单类支持向量机(structured one-class support vector machine,SOCSVM)中嵌入局部密度信息,提出局部密度嵌入的结构单类支持向量机(SOCSVM with local density embedding ldSOCSVM)。借助K近邻(K-nearest neighbor, KNN)揭示目标数据局部密度,并进一步诱导出权重因子作用于样本点。该算法充分利用目标数据的全局信息及局部密度信息,从而提高分类器的泛化能力。UCI数据集上的实验结果验证了ldSOCSVM的有效性。     

支持向量机原始问题研究综述

支持向量机学习器往往是通过求解原二次优化问题的对偶问题获得的。诸多研究表明,支持向量机原始问题同样可以适当地处理约束项,同时,突破以前原二次优化问题不能利用核函数的认识误区,通过引入核函数建立一个无约束优化问题,利用传统优化方法进行求解。理论分析和实验表明,支持向量机原始问题也能实现对数据的高效学习,而且在大规模数据学习问题上,较之求解对应的对偶问题获得的近似解更可靠,参数选择也更好进行。     

基于模糊域和支持向量机的故障诊断方法

将模糊域分布和支持向量机相结合,提出了一种故障诊断的新方法,该方法将模糊域分布中的局部能量作为特征输入到支持向量机的多故障分类器进行故障识别.利用模糊域分布可以很好地刻画信号的时频局部化特征,与时-频平面特征提取相比,又可大大降低数据维数.对于不同类型的核函数分布,将其诊断结果进行比较,试验结果表明,基于模糊域的支持向量机故障分类无需核函数滤波就能取得最好的分类效果.     

最小二乘支持向量机的半监督学习算法

将最小二乘支持向量机引入到半监督学习中,提出了一种最小二乘支持向量机的半监督学习算法.采用最小二乘支持向最机训练混合样本集,利用最小二乘支持向量机训练速度快、效率高等优点有效地克服了目前一些半监督支持向量机学习算法时间代价大、效率低的缺陷.在训练过程中采用区域标注法,减少达到收敛所需要的迭代次数,并给出了SLS-SVM算法具体的数学描述.在人造数据集及实际数据集上的实验表明,最小二乘支持向量机的半监督学习算法可以有效的减少训练时问,提高训练的速度,从而具有更好的推广能力.