关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的基本思想、特点和研究发展现状,以引起国内学者的进一步关注.     

支持向量机研究

支持向量机是一类新型机器学习方法,由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。该文首先引入最优超平面的概念,然后对线性ＳＶＭｓ和非线性ＳＶＭｓ进行介绍,给出一些常用的训练算法,并指出ＳＶＭｓ存在的局限和将来可能的研究内容。     

支持向量机及其在模式识别中的应用

Statistical learning theory(SLT)and support vector machine(SVM) are effective to solve problems of machine learning under the condition of finite samples.It is known that the performance of support vector machine is often better than that of some neural networks in pattern recognition,especially in high dimensional space,and they arewell used in many domains for recognition.This paper at first introduces the basic theory of SLT and SVM,then points out the key problems of SVM and its research situation in recent years,and at last describes some applications of SVM in the field of pattern recognition.     

基于统计学习理论的支持向量机的分类方法

支持向量机是一种新型机器学习方法,由于其出色的学习性能,该技术已成为机器学习领域新的研究热点。介绍用于分类的支持向量机的统计学习理论基础,在此基础上提出了支持向量机的分类算法,讨论了支持向量机存在的问题,对用于分类的支持向量机的应用前景进行了展望。     

基于统计学习理论的支持向量机的分类方法

支持向量机是一种新型机器学习方法，由于其出色的学习性能，该技术已成为机器学习领域新的研究热点。介绍用于分类的支持向量机的统计学习理论基础，在此基础上提出了支持向量机的分类算法，讨论了支持向量机存在的问题，对用于分类的支持向量机的应用前景进行了展望。     

支持向量机新模型及其参数特性研究

支持向量机C-SVM及υ-SVM是目前两种最为成熟的模型,但是从形式到算法、从参数特性到参数含义,它们都相互不同,这给人们的选择带来不便。为了将这两种SVM模型统一起来,提出一种新的模型Cυ-SVM,并依据统计学习理论,研究它的解的特性。给出了新模型解的完备性条件,找出它的解及其相应的算法,并指出了υ/C既是边界支持向量个数的上界,又是支持向量总数的下界。参数设置说明,新模型完全可以实现旧模型的所有功能,而新的算法更加方便诸如文本自动分类等领域的使用。     

支持向量机的新发展

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法一支持向量机，比较成功地解决了模式分类问题，其后，机器学习界兴起了研究统计学习理论和支持向量机的热湖，引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机，依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等，对此，较为系统地回顾了近lO年来算法研究领域的新发展。     

统计学习理论的原理与应用

经验风险与实际风险间的不一致是一个长期困扰机器学习（各种分类或拟合问题）的难题。统计学习理论提供了对这一问题的部分解决方法。本文从理论及现实两方面介绍经验风险与实际风险间的不一致现象，定义了算法的泛化能力，简单介绍了统计学习理论各组成部分的主要结论，并总结了这一理论的应用方向和存在的问题。     

支持向量机算法和软件ChemSVM介绍

Vladimir N.Vapnik等提出的统计学习理论（statistical learning theory，简称SLT）和支持向量机（support vector machine,简称SVM）算法已取得令人鼓舞的研究成果。本文旨在对这一新理论和新算法的原理作一介绍，并展望这一计算机学界的新成果在化学化工领域的应用前景，“ChemSVM”软件提供了通用的支持向量机算法，并将其与数据库，知识库，原子参数及其他数据挖掘方法有机地集成起来。     

多类别模糊补偿支持向量机新模型研究

提出了一种更一般化描述的多类别模糊补偿支持向量机(M-FSVM)算法,用它来解决经典支持向量机对类别分类误差的不均衡性问题。并在开源代码LibSVM的基础上实现了新算法,并应用于网络入侵检测。实验结果表明训练样本数目少的类别的分类精度得到了提高。     

支持向量机及其应用研究综述

在分析支持向量机原理的基础上,分别从人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理及其他应用研究等方面对SVM的应用研究进行了综述,并讨论了SVM的优点和不足,展望了其应用研究的前景．     

支持向量机

1 前言基于数据的机器学习是人工智能技术中的重要方面,从观测数据(样本)出发寻找数据中的模式和数据间的函数依赖规律,利用这些模式和函数依赖对未来数据或无法观测的数据进行分类、识别和预测。关于其实现方法大致可以分为三种,第一种是经典的(参数)统计估计方法,在这种方法中,参数的相关形式是已知的,训练样本用来估计参数的值。这种方法有很大的局限性,首先,它需要已知样本分布形式,其次传统统计学研究的是样本数目趋于无穷大时的渐近理论,现有学习方法也多是基于此假设,但在实际问题中,样本数往往是有限的,因此一些理论上很优秀的学习方法实际中表现却可     

基于支持向量机的学习评价系统

在分析学生学习行为的基础上,文章提出了支持向量机的学习评估系统的设计方案并进行了模拟,结果显示该系统能够有效地实现对学生的学习指导,同时给教师的教学提供了一个有力的教学辅助工具。     

基于支持向量机算法的智能学习推荐器的设计及实现

远程教学模式作为一种新型的教学模式，应该体现自主性学习特点，为了帮助学习尽快适应自主性学习模式，对案例中学生的学习行为进行了分析，在分析学生学习行为的基础上，提出了支持向量机算法的智能学习推荐器的方案。     

基于支持向量机的人脸检测算法

人脸检测是建立自动人脸识别系统的基础，该文提出了一种新的基于支持向量机的人脸检测算法，支持向量机是在统计学习理论的基础上发展起来的一种通用机器学习算法，采用支持向量机可以建立类似于神经网络的分类器，但是克服了神经网络中可能遇到的局部极小值和过学习问题，试验结果表明该算法鲁棒性好，检测精度高，具有很强的实用价值。     

基于支持向量机的遥感图像舰船目标识别方法

针对高分辨率遥感图像舰船目标识别问题,提出了一种基于支持向量机的舰船目标分类方法。支持向量机(SVM)是一类新型机器学习方法,基于结构风险最小化归纳原则,具有出色的学习能力。与传统的方法相比,支持向量机不但结构简单,而且技术性能特别是泛化能力明显提高。该文简要介绍了有关统计学习理论和支持向量机算法,将支持向量机应用于遥感图像舰船目标识别,并同传统的舰船识别方法进行了相关的对比实验,实验结果说明本文提出的分类器在识别性能上明显优于其它传统分类器,具有更高的识别性能率。     

支撑矢量机的改进算法研究

该文介绍了支撑矢量机(SVM)的有关概念、学习算法。并且详细介绍了一种改进算法LSVM,对于机器学习算法的研究具有启迪作用。     

基于核聚类方法的多层次支持向量机分类树

针对解决多类模式识别问题的SVM方法进行研究,在比较常用的几种多类SVM分类算法基础上,提出了一种基于核聚类方法的多层次SVM分类树,将核空间中的无监督学习方法和有监督学习方法结合起来,实现了一种结构更加简洁清晰、计算效率更高的多层SVM分类树算法,并在实验中取得了良好的结果。     

安全迁移支持向量机

迁移学习方法是一种新的机器学习框架,它将源领域数据通过学习迁移到相似的目标领域中,减弱了对已标记数据的依赖。但迁移学习方法中一个重大问题是使用目标领域数据与源领域数据得到的分类器很可能比仅利用目标领域数据得到的分类器的效果更差,从而造成一种“负迁移”现象。针对此问题,提出一种基于目标领域已标记数据知识的安全控制机制,并通过结合近年出现的一种迁移学习分类器(TL-SVM)提出了一种安全迁移支持向量机(SATL-SVM),从理论上解决了TL-SVM的负迁移问题,在人工数据集和真实数据集上的实验结果表明了所提方法的有效性。