关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重 要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计 学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的 统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种 新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和 SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的 基本思想、特点和研究发展现状,以引起国内学者的进一步关注.  

支持向量机的新发展

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法一支持向量机，比较成功地解决了模式分类问题，其后，机器学习界兴起了研究统计学习理论和支持向量机的热湖，引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机，依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等，对此，较为系统地回顾了近lO年来算法研究领域的新发展。  

基于支持向量机的入侵检测系统

目前的入侵检测系统存在着在先验知识较少的情况下推广能力差的问题.在入侵检测系统中应用支持向量机算法,使得入侵检测系统在小样本(先验知识少)的条件下仍然具有良好的推广能力.首先介绍入侵检测研究的发展概况和支持向量机的分类算法,接着提出了基于支持向量机的入侵检测模型,然后以系统调用执行迹(system call trace)这类常用的入侵检测数据为例,详细讨论了该模型的工作过程,最后将计算机仿真结果与其他检测方法进行了比较.通过实验和比较发现,基于支持向量机的入侵检测系统不但所需要的先验知识远远小于其他方法,而且当检测性能相同时,该系统的训练时间将会缩短.  

支持向量机及其应用研究综述

在分析支持向量机原理的基础上，分别从人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理及其他应用研究等方面对SVM的应用研究进行了综述，并讨论了SVM的优点和不足，展望了其应用研究的前景．  

支持向量机研究

支持向量机是一类新型机器学习方法，由于其出色的学习性能，该技术已成为当前国际机器学习界的研究热点。该文首先引入最优超平面的概念，然后对线性SVMs和非线性SVMs进行介绍,给出一些常用的训练算法，并指出SVMs存在的局限和将来可能的研究内容。  

支持向量机训练算法综述

本文介绍统计学习理论中最年轻的分支——支持向量机的训练算法，主要有三大类：以 SVMlight为代表的分解算法、序贯分类方法和在线训练法，比较了各自的优缺点，并介绍了 其它几种算法及多类分类算法．最后指出了支持向量机具体实现的方向及其在模式识别、数 据挖掘、系统辨识与控制等领域中的应用．  

分布估计算法综述

分布估计算法是进化计算领域新兴起的一类随机优化算法，是当前国际进化计算领域的研究热点. 分布估计算法是遗传算法和统计学习的结合，通过统计学习的手段建立解空间内个体分布的概率模型，然后对概率模型随机采样产生新的群体，如此反复进行，实现群体的进化. 分布估计算法中没有传统的交叉、变异等遗传操作，是一种全新的进化模式；这种优化技术能够通过概率图模型对变量之间的关系进行建模，从而能有效的解决多变量相关的优化问题. 根据概率模型的复杂性，本文按照变量无关、双变量相关、多变量相关等三类分别介绍相应的分布估计算法. 作为一篇综述性文章，本文旨在全面系统的向国内读者介绍这一新技术，并总结分布估计算法的研究现状和未来的研究方向.  

支持向量机算法和软件ChemSVM介绍

Vladimir N.Vapnik等提出的统计学习理论（statistical learning theory，简称SLT）和支持向量机（support vector machine,简称SVM）算法已取得令人鼓舞的研究成果。本文旨在对这一新理论和新算法的原理作一介绍，并展望这一计算机学界的新成果在化学化工领域的应用前景，“ChemSVM”软件提供了通用的支持向量机算法，并将其与数据库，知识库，原子参数及其他数据挖掘方法有机地集成起来。  

基于支持向量机的渐进直推式分类学习算法

支持向量机(support vector machine)是近年来在统计学习理论的基础上发展起来的一种新的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势.直推式学习(transductive inference)试图根据已知样本对特定的未知样本建立一套进行识别的方法和准则.较之传统的归纳式学习方法而言,直推式学习往往更具普遍性和实际意义.提出了一种基于支持向量机的渐进直推式分类学习算法,在少量有标签样本和大量无标签样本所构成的混合样本训练集上取得了良好的学习效果.  

基于支持向量机的网络入侵检测

将统计学习理论引人入侵检测研究中，提出了一种基于支持向量机的入侵检测方法(SVM-Based ID)．针对入侵检测所获得的高维小样本异构数据集，将SVM算法在这种异构数据集上进行推广，构造了基于异构数据集上HVDM距离定义的RBF形核函数，并基于这种核函数将有监督的C-SVM算法和无监督One-Class SVM算法用于网络连接信息数据中的攻击检测和异常发现，通过对DARPA数据的检测试验结果表明提出的方法是可行的、高效的．