支持向量机及其在模式识别中的应用

Statistical learning theory(SLT)and support vector machine(SVM) are effective to solve problems of machine learning under the condition of finite samples.It is known that the performance of support vector machine is often better than that of some neural networks in pattern recognition,especially in high dimensional space,and they arewell used in many domains for recognition.This paper at first introduces the basic theory of SLT and SVM,then points out the key problems of SVM and its research situation in recent years,and at last describes some applications of SVM in the field of pattern recognition.     

支持向量机的新发展

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法一支持向量机,比较成功地解决了模式分类问题,其后,机器学习界兴起了研究统计学习理论和支持向量机的热湖,引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机,依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等,对此,较为系统地回顾了近lO年来算法研究领域的新发展。     

支持向量机及其应用研究综述

在分析支持向量机原理的基础上,分别从人脸检测、验证和识别、说话人/语音识别、文字/手写体识别、图像处理及其他应用研究等方面对SVM的应用研究进行了综述,并讨论了SVM的优点和不足,展望了其应用研究的前景．     

基于相关向量机的机器学习算法研究与应用

介绍一种新的机器学习方法——相关向量机（Relevance Vector Machine）。相关向量机是一种新的基于贝叶斯统计学习理论的学习方法,与支持向量机（Support Vector Machine）的相比,可以有概率型输出、更稀疏和核函数选择更自由等优点。详细论述相关向量机的研究现况、理论基础及算法思想,并通过仿真实验说明该方法曲有效性,最后展望相关向量机的研究发展趋势,且提出相关向量机中仍需解决的关键问题。     

统计学习理论的原理与应用

经验风险与实际风险间的不一致是一个长期困扰机器学习（各种分类或拟合问题）的难题。统计学习理论提供了对这一问题的部分解决方法。本文从理论及现实两方面介绍经验风险与实际风险间的不一致现象,定义了算法的泛化能力,简单介绍了统计学习理论各组成部分的主要结论,并总结了这一理论的应用方向和存在的问题。     

支持向量机研究

支持向量机是一类新型机器学习方法,由于其出色的学习性能,该技术已成为当前国际机器学习界的研究热点。该文首先引入最优超平面的概念,然后对线性ＳＶＭｓ和非线性ＳＶＭｓ进行介绍,给出一些常用的训练算法,并指出ＳＶＭｓ存在的局限和将来可能的研究内容。     

支持向量机在模式识别中的核函数特性分析

支持向量机是20世纪90年代中期发展起来的一种机器学习技术,与传统人工神经网络不同之处在于前者基于结构风险最小化原理,后者基于经验风险最小化原理。支持向量机不仅结构简单,而且技术性能尤其是泛化能力与BP神经网络相比有明显提高。讨论了支持向量机的分类原理,并用多项式函数、径向基函数和感知机函数等3种核函数作为内积回旋,分别以平面点集分类、手写体汉字识别及双螺旋线识别为例,在不同的结构参数下进行了仿真实验,并对3种核函数的分类特性进行了对比分析,给出了在不同模式识别问题中3种核函数的选择条件。     

关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的基本思想、特点和研究发展现状,以引起国内学者的进一步关注.     

一种主动学习式P2P流识别方法

P2P流的识别对于网络的维护与运营都具有重要意义,基于机器学习的流识别技术是目前研究的热点和难点内容,但目前仍然存在着建立分类模型需要大量适用的训练数据、训练数据的标记需要依赖领域专家以及因此而导致的工作量及难度过大和实用性不强等问题,而当前的研究工作很少涉及到这些问题的解决办法。针对这一问题,采用主动学习技术提取少量高质量的训练样本进行建模,并结合SVM分类算法提出了一种基于锦标赛选择的样本筛选方法。实验结果表明,其相对于已有的流识别方法,能够在仅依赖少量高质量训练样本的前提下,保证较高召回率及较低误报率,更适用于现实网络环境。     

支持向量机和正交设计方法的比较和应用研究

论文对支持向量机(SVM)和正交设计方法进行了比较。支持向量机在分类和回归方面广为应用,而正交设计方法在实验设计方面是非常有效的,并且在化学工业中应用广泛。本文使用了两因素、七维正交实验(干燥实验)作为例子来把支持向量机方法应用到实验设计中去。正交表是用来研究实验的最优化条件和显著因素,本文给出了支持向量机和正交实验设计的计算结果。通过两者的比较,可以看到支持向量在实验预测方面比正交设计方法效果更好。从而可知支持向量机在实验设计方面的前景广阔。     

最小二乘Littlewood-Paley小波支持向量机

基于小波分解理论和支持向量机核函数的条件,提出了一种多维允许支持向量核函数——Littlewood-Paley小波核函数．该核函数不仅具有平移正交性,而且可以以其正交性逼近二次可积空间上的任意曲线,从而提升了支持向量机的泛化性能．在Littlewood-Paley小波函数作为支持向量核函数的基础上,提出了最小二乘Littlewood-Paley小波支持向量机(LS-LPWSVM)．实验结果表明,LS-LPWSVM在同等条件下比最小二乘支持向量机的学习精度要高,因而更适用于复杂函数的学习问题．     

用于遥感图像建筑物目标分类的层次匹配核

提出了一种利用图像特征空间信息的核函数—— 层次对数极坐标匹配核, 用于遥感图像建筑物目标的分类。对图像进行特征提取, 并将特征映射到已聚类好的“码本”中, 量化为有限个类别。将图像由粗到细划分为多个层次的对数极坐标系下的“子区域(单元格)”。比对落入同一层次、同一“子区域(单元格)”的每类特征的直方图交集, 建立加权的多尺度直方图, 将多个特征多尺度直方图合并, 得到最终的核函数, 并利用“一对多”的支持向量机(support vector machine, SVM)完成建筑物的分类。对标准数据库Caltech-256和自建遥感图像数据集进行实验, 结果证明了该核函数的有效性。     

改进的加权型支持向量回归方法

分析现有支持向量回归方法的缺点和不足，给出一种改进的加权型支持向量回归方法及其wolfe对偶形式．引入凸函数降低对核函数的要求，并讨论当这些凸函数取不同形式时支持向量回归机的变形，为得到更为灵活的回归曲线提供有效工具．同时对广泛的支持向量回归模型、优化支持向量模型的泛化能力和运算速度等方面进行讨论．     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

核函数的度量研究进展

核函数的度量(简称核度量)研究两个核函数(或一个核函数与另一个目标函数)之间相似性的度量方法,是核函数研究中的一个重要课题。系统综述了核度量的研究状况以及目前的研究进展,分析了典型核度量方法的特点及不足,并凝炼了其进一步研究的方向。     

用混沌理论优化SVM核参数的研究

混沌优化算法是一种有效的全局优化算法,其计算复杂度较低,搜索速度快。支持向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点。但支持向量机的识别性能对于参数的选择是敏感的,提出用混沌优化算法来优化支持向量机的参数,不仅提高了支持向量机的性能,而且解决了传统的选取参数方法计算量大、参数多时难以奏效的问题。仿真结果表明性能较好、计算量较少。     

基于时序核函数的支持向量回归机

为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机（Support Vector Machine,SVM）提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫（SO2）数据为实验数据验证该方法的有效性．实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高．     

支持向量机应用于大气污染物浓度预测

支持向量机是基于统计学习理论的新一代机器学习技术,其非线性回归预测性能优越于传统统计方法。提出了一种大气污染物浓度预测模型,该方法将支持向量机应用于大气污染物浓度预测,首先对各类影响因子进行分析并进行建模预测;而后利用主成分分析的方法对输入因子降维,从而形成支持向量机的训练样本集;在此基础上建立了基于RBF核函数支持向量回归法的大气污染预模型。大气污染预测实例表明,该方法具有泛化能力强、预测精度高、训练速度快、稳定性好、便于建模等优点,有良好的应用前景。