一种改进的SVM相关反馈图像检索方法*

提出了一种改进的支持向量机SVM( Support Vector Machine) 的相关反馈图像检索方法。在这种方法的交互过程中, SVM 分类器不仅对本次反馈过程中用户所提交的标记的正例和反例样本进行学习, 还对历次反馈过程中的正例和反例样本进行学习, 并根据训练后的分类器进行检索。实验结果表明, 该方法在样本集非常小的情况下, 仍可以检索出较多的相关图像, 在有限训练样本情况下具有良好的推广能力。     

一种改进的SMO算法

In this paper we have pointed out an important source of inefficiency in SMO algorithm that is caused by the operation with a single threshod value. We have suggested modifications of SMO algorithm that overcome the problem by efficiently maintaining and updating two threshold parameters. Our experiments show that these modifi-cations speed up the SMO algorithm.     

一种基于SVM的多变量企业财务预警模型

本文将支撑向量机这一通用学习机器引入企业财务预警中，克服了以往应用统计分析方法中需要大量样本的缺点，提出了一种在小量样本情况下，实现企业财务数据与企业的运营状况映射关系的方法，还探讨了支撑向量机在企业财务预警中应用的优势和发展潜力，并给出了实验设计和验证。     

一种快速SVM学习算法

在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。     

一个改进的支撑向量机训练算法

支撑向量机是90年代中期发展起来的机器学习技术,NPA算法是目前最优秀的学习算法之一。该文在文献犤3犦,犤8犦的基础上,通过大量实验和深入分析,发现该算法尚存在一些不足之处,进而提出一个改进的NPA算法。实验表明,新算法简单易行,性能稳定,在不增加复杂度的情况下,学习速度比NPA算法显著提高。     

支持向量机的新发展

Vapnik等学者首先提出了实现统计学习理论中结构风险最小化原则的实用算法一支持向量机，比较成功地解决了模式分类问题，其后，机器学习界兴起了研究统计学习理论和支持向量机的热湖，引人瞩目的研究分支有从最优化技术出发改进或改造支持向量机，依据统计学习理论和支持向量机的优点设计新的非线性机器学习算法等，对此，较为系统地回顾了近lO年来算法研究领域的新发展。     

统计学习理论的原理与应用

经验风险与实际风险间的不一致是一个长期困扰机器学习（各种分类或拟合问题）的难题。统计学习理论提供了对这一问题的部分解决方法。本文从理论及现实两方面介绍经验风险与实际风险间的不一致现象，定义了算法的泛化能力，简单介绍了统计学习理论各组成部分的主要结论，并总结了这一理论的应用方向和存在的问题。     

支撑矢量机的改进算法研究

该文介绍了支撑矢量机(SVM)的有关概念、学习算法。并且详细介绍了一种改进算法LSVM,对于机器学习算法的研究具有启迪作用。     

支持向量机及其在模式识别中的应用

Statistical learning theory(SLT)and support vector machine(SVM) are effective to solve problems of machine learning under the condition of finite samples.It is known that the performance of support vector machine is often better than that of some neural networks in pattern recognition,especially in high dimensional space,and they arewell used in many domains for recognition.This paper at first introduces the basic theory of SLT and SVM,then points out the key problems of SVM and its research situation in recent years,and at last describes some applications of SVM in the field of pattern recognition.     

基于插值的核函数构造

近年来，统计学习(SLT)和支持向量机(SVM)理论的研究日益受到当前国际机器学习领域的重视．有关核函数的研究则一直是研究的重点．这是因为不同的核函数会导致SVM的泛化能力有很大的不同．如何根据所给数据选择合适的核函数成为人们所关注的核心问题．该文首先指出满足Mercer条件的核函数的具体表达式并非问题关键，在此基础上，该文进一步提出利用散乱数据插值的办法确定特征空间中感兴趣点的内积值以代替传统核函数的一般表达式所起的作用．实验表明该方法不仅能够有效改善支持向量机的设计训练过程中的不确定性，而且泛化能力要优于绝大部分的基于传统核函数的支持向量机．     

支持向量机在模式识别中的核函数特性分析

支持向量机是20世纪90年代中期发展起来的一种机器学习技术,与传统人工神经网络不同之处在于前者基于结构风险最小化原理,后者基于经验风险最小化原理。支持向量机不仅结构简单,而且技术性能尤其是泛化能力与BP神经网络相比有明显提高。讨论了支持向量机的分类原理,并用多项式函数、径向基函数和感知机函数等3种核函数作为内积回旋,分别以平面点集分类、手写体汉字识别及双螺旋线识别为例,在不同的结构参数下进行了仿真实验,并对3种核函数的分类特性进行了对比分析,给出了在不同模式识别问题中3种核函数的选择条件。     

基于核聚类方法的多层次支持向量机分类树

针对解决多类模式识别问题的SVM方法进行研究。在比较几种常用的多类SVM分类算法的基础上，提出一种基于核聚类方法的多层次SVM分类树，将核空问中的无监督学习方法和有监督学习方法结合起来，实现了一种结构更加简洁清晰、计算效率更高的多层SVM分类树算法，并在实验中取得了良好的结果．     

基于支持向量机的入侵检测系统

目前的入侵检测系统存在着在先验知识较少的情况下推广能力差的问题.在入侵检测系统中应用支持向量机算法,使得入侵检测系统在小样本(先验知识少)的条件下仍然具有良好的推广能力.首先介绍入侵检测研究的发展概况和支持向量机的分类算法,接着提出了基于支持向量机的入侵检测模型,然后以系统调用执行迹(system call trace)这类常用的入侵检测数据为例,详细讨论了该模型的工作过程,最后将计算机仿真结果与其他检测方法进行了比较.通过实验和比较发现,基于支持向量机的入侵检测系统不但所需要的先验知识远远小于其他方法,而且当检测性能相同时,该系统的训练时间将会缩短.     

A Tutorial on Support Vector Machines for Pattern Recognition

The tutorial starts with an overview of the concepts of VC dimension and structural risk minimization. We then describe linear Support Vector Machines (SVMs) for separable and non-separable data, working through a non-trivial example in detail. We describe a mechanical analogy, and discuss when SVM solutions are unique and when they are global. We describe how support vector training can be practically implemented, and discuss in detail the kernel mapping technique which is used to construct SVM solutions which are nonlinear in the data. We show how Support Vector machines can have very large (even infinite) VC dimension by computing the VC dimension for homogeneous polynomial and Gaussian radial basis function kernels. While very high VC dimension would normally bode ill for generalization performance, and while at present there exists no theory which shows that good generalization performance is guaranteed for SVMs, there are several arguments which support the observed high accuracy of SVMs, which we review. Results of some experiments which were inspired by these arguments are also presented. We give numerous examples and proofs of most of the key theorems. There is new material, and I hope that the reader will find that even old material is cast in a fresh light.     

关于统计学习理论与支持向量机

模式识别、函数拟合及概率密度估计等都属于基于数据学习的问题,现有方法的重要基础是传统的统计学,前提是有足够多样本,当样本数目有限时难以取得理想的效果.统计学习理论(SLT)是由Vapnik等人提出的一种小样本统计理论,着重研究在小样本情况下的统计规律及学习方法性质.SLT为机器学习问题建立了一个较好的理论框架,也发展了一种新的通用学习算法--支持向量机(SVM),能够较好的解决小样本学习问题.目前,SLT和SVM已成为国际上机器学习领域新的研究热点.本文是一篇综述,旨在介绍SLT和SVM的基本思想、特点和研究发展现状,以引起国内学者的进一步关注.     

基于相关向量机的机器学习算法研究与应用

介绍一种新的机器学习方法——相关向量机（Relevance Vector Machine）。相关向量机是一种新的基于贝叶斯统计学习理论的学习方法,与支持向量机（Support Vector Machine）的相比,可以有概率型输出、更稀疏和核函数选择更自由等优点。详细论述相关向量机的研究现况、理论基础及算法思想,并通过仿真实验说明该方法曲有效性,最后展望相关向量机的研究发展趋势,且提出相关向量机中仍需解决的关键问题。     

贪婪支持向量机的分析及应用

支持向量机推广性能的分析是机器学习中的一项重要内容。依据可通过最小化本性支持向量个数来构造支持向量机的思路,结合稀疏学习,从贪婪方法的角度出发,提出了一种新的支持向量机,称之为贪婪支持向量机。利用UCI数据库中的乳腺癌数据集来测试贪婪支持向量机算法在平衡估计精确性和解的稀疏性方面的性能。针对设计的贪婪支持向量机,利用经验过程中的方法,得到这一类型支持向量机的推广性能。     

支持向量机的训练算法综述

支持向量机（SVM）是在统计学习理论基础上发展起来的新方法,其训练算法本质上是一个二次规划的求解问题.首先简要概述了SVM的基本原理,然后对SVM训练算法的国内外研究现状进行综述,重点分析SVM的缩减算法和具有线性收敛性质的算法,对这些算法的性能进行比较,并且对SVM的扩展算法也进行简单介绍.最后对该领域存在的问题和发展趋势进行了展望.     

多类别模糊补偿支持向量机新模型研究

提出了一种更一般化描述的多类别模糊补偿支持向量机(M-FSVM)算法,用它来解决经典支持向量机对类别分类误差的不均衡性问题。并在开源代码LibSVM的基础上实现了新算法,并应用于网络入侵检测。实验结果表明训练样本数目少的类别的分类精度得到了提高。