支持向量机在线训练算法及其应用

针对支持向量机在线训练算法训练速度较慢和无法处理边缘支持向量集合为空的缺点,以KKT条件和拉格朗日乘数法为基础,用严格的数学推导得到一种改进的训练算法.通过建立一个矩阵缓存来保存与核函数相关的数据,给出在算法中有效操作该矩阵缓存的方法以加快训练速度;边缘支持向量集合为空时,修改模型的偏值项使样本进入该集合,训练算法得以继续运行;并讨论了该算法在在线系统辨识中的应用.仿真实验和分析结果表明: 对于非线性时变系统,改进算法的建模精度较高,训练速度较原算法有了很大的提高.     

基于Fisher向量投影的支持向量机增量算法

针对支持向量机训练样本冗余导致训练效率低下的问题,提出一种基于Fisher向量投影的支持向量机增量算法。该算法根据支持向量机中支持向量的分布特性对初始训练集及增量集进行预处理,减少训练样本个数;通过判断初始样本是否满足新增样本集的卡罗需-库恩-塔克(Karush-Kuhn-Tucker conditions,KKT)条件,剔除对最终结果无用的样本,减少参与训练的样本数目。实验结果表明,与标准支持向量机算法和基于向量投影的支持向量机增量算法相比,基于Fisher向量投影的支持向量机增量算法的训练速度分别提升了86%和33%左右。该方法可用于大规模样本集的分类识别问题。     

基于蚁群聚类算法的SVM半监督式训练方法

传统支持向量机在处理包含大量未知类别样本的训练集时性能较差。针对这一不足,在少量已知类别样本和大量未知类别样本构成的训练集上,提出一种基于蚁群聚类算法的支持向量机半监督式学习方法。该方法应用蚁群聚类算法进行聚类分析,实现了同类样本的自组织聚类;通过一个递归的类别判定算法,回收样本类别;同时,提取各类簇之间靠得相对较近的边界样本组成精简训练集,以缩减训练集规模加快学习速度。实验表明,该算法能够自适应样本类别分布,有较高的分类精度和泛化能力。     

基于MTC结构的支持向量机并行训练算法

为加快支持向量机的训练速度,提出一种新型的"多重三叉级联(MTC)"学习结构,具有反馈速度快、计算节点利用率高、反馈的支持向量多等优点。基于该结构设计了支持向量机的并行训练算法,并严格证明了新算法能够收敛到支持向量机的最优解。数值实验结果表明,新算法具有非常高的加速比和并行效率,需要的训练时间显著地少于Graf等提出的Cascade SVM算法。     

一种基于SVM的人形识别算法

提出了一种基于SVM(支持向量机)人形识别的算法,通过对静态图像小波变换提取目标的局部形状突变特征,并结合动态帧的步态特征,然后利用支持向量机对小样本进行学习与识别.通过实验验证,该算法具有实时性好、识别率高、可靠性高、适用范围广等特点,以达到实现监控自动化和智能化的目标.     

一种SVM多类分类算法用于抗噪语音识别

为提高机器学习的推广能力,解决语音识别系统在噪声环境中识别率变差等问题,采用改进的MFCC语音特征参数,用支持向量机(SVM)作为语音识别系统的识别网络,对SVM多类分类问题采用"一对一"分类算法,实现了一个汉语孤立词非特定人中等词汇量的抗噪语音识别系统。实验结果表明,SVM线性核函数和多项式核函数具有较好分类结果;当工作在不同信噪比情况下,SVM语音识别系统有较高的识别率,训练时间也能大为缩减,具有较的好鲁棒性。     

基于微分进化算法的SVM参数选择

支持向量机(support vector machines, SVM)的性能在很大程度上取决于参数的设置, 所以参数选择问题一直是SVM理论和应用研究中的重点问题.SVM的参数选择本质上是一个优化搜索过程, 并且这个优化问题往往是多峰的.微分进化算法(differential evolution, DE)是一种实数编码的基于种群进化的优化算法, 具有强劲的全局搜索能力, 在多峰函数的寻优问题上已表现出优异的性能.为此, 将DE算法用于SVM参数选择, 提出了基于DE算法的SVM参数选择方法(DE-SVM).在标准数据集上的几个仿真实验证明了该方法的有效性.与基于微粒群算法(partical swarm algorithm, PSO)的参数选择方法相比, DE-SVM在复杂问题或多参数的寻优问题上具有更快的寻优速度.     

一种动态调整训练集的中文文本分类系统

对文本特征表示模型和文本特征提取方法进行了探讨,分析了分类效果的影响因素,设计了一种动态调整训练集的文本分类算法,并结合支持向量机验证了该分类系统的类别特征信息和分类适应性.     

基于SVM的多类分类算法改进

在各种基于支持向量机的多类分类算法中,基于二叉树的多类支持向量机分类算法训练和分类速度相对较快,且解决了不可分问题,是一种很好的方法.本文系统研究和分析了基于二叉树的多类支持向量机分类算法,并在此基础上对其作出了改进,即当测试文本集规模较大时,对其先聚类再分类.改进的目的是,使测试文本不必总是从二叉树的根结点开始进行判断,而是有指导的代入分类函数中计算.在测试文本集规模较大,分类函数个数较多时,可以很大程度上增加分类效率,并加大了文本正确分类的概率.     

边界偏转覆盖增量支持向量机

为了利用不断积累的网络样本提高故障诊断效能,针对标准支持向量机不直接支持增量学习的问题,提出一种边界偏转覆盖增量支持向量机. 根据违背Karush Kuhn Tucker条件的新增样本在特征空间中可引起原分类边界改变的情况,设计边界偏转覆盖算法预选支持向量再生区作为增量训练工作集,解决了难以确定的非支持向量向支持向量的转化问题. 理论分析和实验结果表明,该方法能有效简化训练工作集,在保证故障诊断精度的同时大幅度提高增量训练效率.     

基于粒子群算法的支持向量机训练和实现方法

在支持向量机的实现过程中,如果用于训练的样本数很大,则标准的二次型优化技术就很难应用。针对在大规模训练中算法收敛速度慢、复杂程度高等问题,提出用粒子群算法求解其中的二次规划问题的思想。试验结果表明,用粒子群算法来训练样本集具有容易实现、节省计算成本和提高收敛速度等优点。该方法已经应用在模式识别、数据挖掘、系统辨识与控制等领域。     

一种改进的双支持向量机

双支持向量机是近年提出的一种新的支持向量机。在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力。但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性。为了克服这个缺点,提出了一种基于模糊隶属度的双支持向量机。该算法设计了一种基于距离的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类。实验结果表明,这种改进双支持向量机的分类性能优于传统的双支持向量机。     

支持向量机的快速分类算法

支持向量机（SVM）算法在训练集的规模很大特别是支持向量很多时,支持向量机的学习过程需要占用大量的内存,算法的速度较慢。为此,笔者提出一种新的SVM快速分类算法。该算法通过选择边界向量,构造新的训练样本,减少了参与训练的样本数目。实验证明,该算法不仅能保证原算法的精度,具有良好的推广能力,而且提高了算法的速度。     

一种改进的简化支持向量机

在针对大样本问题时,支持向量机所需训练时间和内存都急剧增加。为解决这一问题,提出一种改进的支持向量机简化方案。根据能成为支持向量的样本主要分布在边界上,该方案提出改进提取边界样本的方法提高约简率,保留边界样本并约简非边界样本来减小样本规模。经实验验证,此约简方法约简效果好,泛化性能几乎没有损失,表明该方案有效可行。     

一种改进的FSVM语音情感识别算法

针对语音特征参数对某类情感具有不确定性的问题,提出一种基于典型相关性分析的改进模糊支持向量机算法,应用于语音情感识别.采用典型相关性分析方法对特征向量进行降维,得到样本的约简向量集,在此约简向量集上建立模糊支持向量机模型判定情感类型.仿真实验结果表明,该方法相比于传统支持向量机法和模糊支持向量‘机法具有较高的识别准确率.     

基于遗传算法的二叉树支持向量机分类方法

针对传统的基于支持向量机的文本分类存在的问题进行了研究,采用二叉树结构与多个支持向量机子分类器组合进行Web文本信息分类,在二叉树支持向量机多类方法的基础上,进一步结合遗传算法,提出了一种新的支持向量机的多类分类方法,实验结果表明,采用该方法进行多类分类,分类精度明显提高,体现了将遗传算法与二叉树支持向量机结合的优越性。     

基于MTC结构的支持向量机并行训练算法 贾华丁1, 2,游志胜1,王磊2

摘要：为加快支持向量机的训练速度,提出一种新型的“多重三叉级联(MTC)”学习结构,具有反馈速度快、计算节点利用率高、反馈的支持向量多等优点。基于该结构设计了支持向量机的并行训练算法,并严格证明了新算法能够收敛到支持向量机的最优解。数值实验结果表明,新算法具有非常高的加速比和并行效率,需要的训练时间显著地少于Graf等提出的Cascade SVM算法。     

一种改进的基于密度聚类的支持向量机

运用OPTICS算法能发现任意形状的聚类,且对输入参数不敏感的优势,提出一种基于OPTICS密度聚类的支持向量机算法,通过对原始数据进行预处理,利用可达图得到约简样本代替原始训练样本用支持向量机进行训练,降低了SVM训练所需的时间及空间复杂度.实验表明,该方法在保持分类精度的同时,大大缩短了训练时间,提高了分类效率.