支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

基于边界向量的支持向量机增量算法

提出了一种新的基于边界向量的增量式支持向量机学习算法。该算法根据支持向量的几何分布特点,采用边界向量预选取方法,从增量样本中选取最有可能成为支持向量的样本形成边界向量集,在其上进行支持向量训练。通过对初始样本是否满足新增样本KKT条件的判断,解决非支持向量向支持向量的转化问题,有效地处理历史数据。针对UCI标准数据集上的仿真实验表明,基于边界向量的增量算法可以有效地减少训练样本数,积累历史信息,具有更高的分类速度和更好的推广能力。     

支持向量机学习算法若干问题的研究

支持向量机是根据VC维理论和风向最小化原则而创造的新的机器学习方法。支持向量机泛化性能更优,维数敏感度更低而且全局收敛也更加完善。再也不担心局部极值、维数灾难等问题带来困扰。近年来支持向量机在机器学习领域表现活跃,一度成为此领域的焦点问题。但是支持向量机还不能做到尽善尽美,仍需进一步的研究和完善。学习算法的研究最为困难和棘手,但也是支持向量机的研究的重点。本文主要对向量机的几种学习算法进行了了分析和研究。     

改进的用于回归估计的支持向量机学习算法

该文对用于回归估计的标准支持向量机(SVM)加以改进,提出了一种新的用于回归估计的支持向量机学习算法。实验表明,这种新的学习算法在精度上与标准支持向量机算法完全相同,而在学习速度上明显优于标准学习算法。     

基于支持向量机的渐近式半监督式学习算法

提出一种基于支持向量机的渐近式半监督式学习算法,它以少量的有标记数据来训练初始学习器,通过选择性取样规则和核参数来调节无标记样本的选择范围和控制学习器决策面的动态调节方向,并通过删除非支持向量来降低学习代价。仿真实验表明,只要能够选择适当的选择性取样的阈值和核参数,这种学习算法就能够以较少的学习代价获得较好的学习效果。     

支持向量机训练算法综述

训练SVM的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用.针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解.由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM广泛应用的一个重要原因.文章系统回顾了SVM训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向.     

支持向量机训练算法研究

本文介绍了基于统计学习理论的支持向量机的各种训练算法,对其进行了归类分析,比较了各个算法的优缺点。最后指出了SVM及其训练算法存在的一些问题和进一步研究动向。     

支持向量机训练算法综述

本文介绍统计学习理论中最年轻的分支——支持向量机的训练算法，主要有三大类：以 SVMlight为代表的分解算法、序贯分类方法和在线训练法，比较了各自的优缺点，并介绍了 其它几种算法及多类分类算法．最后指出了支持向量机具体实现的方向及其在模式识别、数 据挖掘、系统辨识与控制等领域中的应用．     

支持向量机训练算法综述

训练SVM的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用。针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解。由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM广泛应用的一个重要原因。文章系统回顾了SVM训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向。     

基于支持向量机的分段线性学习方法

1.引言包括感知器、神经网络等在内的学习方法都是基于经验风险最小(ERM)原则的,而在实际的基于小样本的学习系统中,这些学习方法在经验风险最小的情况下并不能保证期望风险最小化。对于线性不可分情况不能给出是否分段线性可分的可靠信息。如果简单地引入非线性变换,则容易导致过学习现象。这显然不是我们所希望的。     

基于支持向量机的多类音频分类

研究一种用支持向量机(SVM)进行多类音频分类的方法,其中引入增广两类分类法(AB法)设计多类分类器。该算法把音频分为四类:音乐、纯语音、带背景音的语音和典型的环境音,并分析了这几类音频的八个区别性特征,包括修正低能量成分比率(MLER)和修正基频(MPF)两个新特征以及频域总能量、子带能量、频率中心等其它六个基本特征,综合考察了不同特征集在基于SVM分类器中的分类精度。实验结果表明,提取的音频特征有效,基于SVM的多类音频分类效果良好。     

基于支持向量机的设备异常状态时间预测

提出了一种支持向量机(SVM)理论的设备异常状态时间预测方法.该方法采用结构风险最小化原则(SRM),与采用经验风险最小化原则(ERM)的传统神经网络方法相比,具有更好的泛化能力和精度,减少了对经验的依赖.通过和BP神经网络进行比较试验,证明了基于支持向量机的预测时间与实际到达危险极限值的时间是相符合的,这种方法精度高,明显优于BP神经网络的预测.最后说明准确预测极限值的时间可使设备远离异常状态,保障设备运行的安全性和经济性.     

基于SVM的软测量建模

支持向量机(Support Vector Machines)是一种基于统计学习理论的新型学习机，本 文提出用支持向量机建立软测量模型．理论分析和仿真研究表明，该方法学习速度快、跟踪 性能好、泛化能力强、对样本的依赖程度低，比基于RBF神经网络的软测量建模具有更好的 推广能力．     

基于支持向量机的航空发动机叶片超声检测

支持向量机(SVM)是一种具有出色学习性能的新型机器学习方法,它能够较好地克服神经网络容易出现的过学习、网络结构难以确定以及局部极小等缺点。研究了小波包变换提取发动机叶片缺陷特征向量的问题,提出一种基于支持向量机的航空发动机叶片超声检测方法。实验表明,基于小波包分解提取特征向量结合支持向量机的识别方法,能够有效地区分发动机叶片部件的几种典型缺陷。     

一种基于近似支撑矢量机(PSVM)的交通目标分类方法

本文介绍了支撑向量机的特点,给出了实际应用中传统支撑矢量机存在的问题。为了克服支撑矢量机算法的不足,引入了一种近似支撑矢量机（PSVM）算法,并将此算法用于交通目标的分类识别。实验结果表明此算法比BP神经网络法准确率高,比传统的SVM法的效率高。     

基于自适应特征选择和SVM的图像分类的研究

提出多特征结合的图像分类方法,分别提取颜色特征和LBP纹理特征,同时提出Adaboost算法对特征进行选择,选择最能表示图像的特征,这样既降低了特征的维数,又提高了分类的精度。最后对基于SVM的多类图像分类方法进行了研究,提出在二类支持向量机的基础上构造多类分类器的方法,实验结果表明,提出的方法能够很好地用于图像分类。     

一种模糊支持向量机主动学习算法

模糊支持向量机具有很好的抗噪声能力,受到很多专家的重视。然而模糊支持向量机上的主动学习算法却一直鲜有研究。提出一种针对模糊支持向量机的主动学习算法,该算法首先在训练集合上利用模糊支持向量机得到决策超平面,然后选取间隔内的未标记样本进行标记,并计算相应的模糊权重,以及更新原有训练样本的模糊权重。最后结合赋予模糊权重的新标记样本重新进行学习,直到未标记样本集为空或者分类性能满足要求。在UCI标准数据集和语音识别数据集上的实验充分验证了该算法的有效性。     

基于约减支持向量机的相关反馈图像检索算法

针对支持向量机在大规模数据集上的低效率,提出了基于约减支持向量机的相关反馈图像检索算法。首先采用约减支持向量机训练初始分类器,以该分类器作为检索模型,根据检索结果进行相关反馈,从而进行再检索。实验结果表明,随着反馈次数的增加,检索到的相关图像也会增加;另外相对传统的基于向量机的方法,数据集规模越大,基于约减支持向量机的算法在时间上的优势越明显。     

基于模糊加权近似支持向量机的Web文本分类

Web文本分类是数据挖掘领域的研究热点。针对Web文本数据集高维和不平衡的特点,将模糊隶属度和平衡因子引入近似支持向量机,提出模糊加权近似支持向量机。首先计算样本的平均密度,并结合样本数量求得平衡因子,克服传统加权算法仅以样本数为依据设置权值的缺陷,缓解数据不平衡造成的分类超平面偏移;再计算样本的模糊隶属度,消除噪声和奇异点造成的分类误差;近似支持向量机相比标准支持向量机具有明显的速度优势,更加适用于高维数据分类。实验表明,算法能有效提高不平衡数据的分类精度,在Web文本的训练速度和分类质量上有一定提高。     

基于贝叶斯理论的支持向量机综述

支持向量机(SVM)以其坚实的理论基础,和在机器学习领域表现出的良好推广性能,获得了越来越广泛的关注。为更好地推进其发展,科研工作者们借鉴统计学中经典的贝叶斯理论,做了大量工作,例如:引进贝叶斯理论中先验知识、后验概率等概念,改进支持向量机中的判别准则;或利用贝叶斯理论估计支持向量机中的参数w、正规化参数以及核参数等。目前已取得不错的效果,使支持向量机理论更具有实用价值。