一种多类支持向量机概率建模新方法

在支持向量机多类分类问题输出概率建模中，提出了一种直接求解后验概率的概率建模新方法。在对多个两类支持向量机分类器的输出概率进行组合时，该方法充分考虑了各个两类支持向量机分类器的差异，并以后验概率作为各个两类支持向量机分类器的权系数。仿真图像的实验结果表明，该文提出的直接求解后验概率方法与投票法及Pairwise Coupling方法相比，不仅具有较好的分类性能，而且得到的后验概率具有较好的概率分布形态。     

后验概率支持向量机在企业信用评级中的应用

在支持向量机(Support Vector Machine)的分类问题中,训练样本的分类信息总是确定的,由此得到的分类指示函数也总是对新样本给出确定的分类信息,但是这种情况对一些不确定性问题并不恰当.利用贝叶斯规则,将样本的后验概率与传统支持向量机结合,得到了基于后验概率的支持向量机.在具体的算法上,引入了一个经验性的方法得到样本的后验概率.以某评级机构提供的企业信用评估数据库为研究对象.     

基于最大熵估计的支持向量机概率建模

提出一种基于最大熵估计的支持向量机概率建模方法．针对传统的支持向量机方法不能提供后验概率的输出问题，从信息熵的角度采用最大熵估计方法，直接对支持向量机输出进行后验概率建模．实验结果表明，与同类算法相比，所提出的基于最大熵估计的概率建模方法具有优良的性能．     

基于后验概率的支持向量机

在支持向量机(support vector machines,SVM)中,训练样本总是具有明确的类别信息,而对于一些不确定性问题并不恰当．受贝叶斯决策规则的启发,利用样本的后验概率来表示这种不确定性．将贝叶斯决策规则与SVM相结合,建立后验概率支持向量机(posteriori probability support vector machine,PPSVM)的体系框架．并详细讨论线性可分性、间隔、最优超平面以及软间隔算法,得到了一个新的优化问题,同时给出了一个支持向量的新定义．实际上,后验概率支持向量机是建立于统计学习理论(statistical learning theory)基础之上,是标准SVM的扩展．针对数据,还提出了一个确定后验概率的经验性方法．实验也证明了后验概率支持向量机的合理性、有效性．     

一种基于反例样本修剪支持向量机的事件追踪算法

支持向量机（SVM）在各类别样本数目分布不均匀时，样本数量越多其分类误差越小，而样本数量越少其分类误差越大．在分析这种倾向产生原因的基础上，提出了一种基于反例样本修剪支持向量机（NEP—SVM）的事件追踪算法．该算法首先修剪反例样本，根据距离和类标决定一反例样本的取舍，然后使用SVM对新的样本集进行训练以得到分类器，补偿了上述倾向性问题造成的不利影响．另外，由于后验概率对于提高事件追踪的性能至关重要，而传统的支持向量机不提供后验概率，本文通过一个sigmoid函数的参数训练将SVM的输出结果映射成概率．实验结果表明NEP—SVM是有效的．     

基于支持向量机的控制图模式识别

为了提高控制图模式识别效果，提出混合核函数支持向量机的模式识别方法。在模型构造中采用一对一多类分类支持向量机，并利用遗传算法优化混合核函数支持向量机参数。仿真和应用结果表明，混合核函数支持向量机对各种模式控制图的总体识别率，I型错判均优于单独核函数、概率神经网络和小波概率神经网络，且具有良好的泛化能力，适合生产现场实时在线工序质量控制。     

基于后验概率SVM决策树多类的分类算法

后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法P2BTS。实验结果证明,基于后验概率的支持向量机决策树P2BTS比c-BTS的分类精度更高,且所需的二类分类器个数减少,在一定程度上降低了P2BTS分类决策的时间和比较的次数,提高了分类效率。     

基于后验概率的SVM决策树多类分类算法

后验概率支持向量机方法对孤立点和噪声具有鲁棒性,并且可以减少支持向量的数量,从而降低计算复杂度。因此,针对最近提出的快速分类算法c-BTS,引入样本的后验概率,提出了一种基于后验概率的SVM决策树算法P2BTS。实验结果证明,基于后验概率的支持向量机决策树P2BTS比c-BTS的分类精度更高,且所需的二类分类器个数减少,在一定程度上降低了P2BTS分类决策的时间和比较的次数,提高了分类效率。     

二次损失函数支持向量机性能的研究

通过比较二次损失函数支持向量机和标准支持向量机在模式识别问题上的表现，分析了二次损失函数支持向量机的性能．实验表明这两种支持向量机对平衡数据有相似的分类能力，但二次损失函数支持向量机的优化参数更小，支持向量更多；对不平衡数据，二次损失函数支持向量机的分类准确率随不平衡度的增加而急剧下降．研究同时表明基于RM界的梯度方法对某些数据无效．文中定性分析了导致上述各种现象的原因．最后提出了一种利用黄金分割原理缩减二次损失函数支持向量机支持向量的方法，该方法冗余的支持向量数不超过一个．     

后验概率在多分类支持向量机上的应用

支持向量机是基于统计学习理论的一种新的分类规则挖掘方法。在已有多分类支持向量机基础上,首次提出了几何距离多分类支持向量分类器;随后,将二值支持向量机的后验概率输出也推广到多分类问题,避免了使用迭代算法,在快速预测的前提下提高了预测准确率。数值实验的结果表明,这两种方法都具有很好的推广性能,能明显提高分类器对未知样本的分类准确率。     

基于支持向量机的渐进直推式分类学习算法

支持向量机(support vector machine)是近年来在统计学习理论的基础上发展起来的一种新的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势.直推式学习(transductive inference)试图根据已知样本对特定的未知样本建立一套进行识别的方法和准则.较之传统的归纳式学习方法而言,直推式学习往往更具普遍性和实际意义.提出了一种基于支持向量机的渐进直推式分类学习算法,在少量有标签样本和大量无标签样本所构成的混合样本训练集上取得了良好的学习效果.     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

基于搜索机制密度聚类的支持向量预选取算法

支持向量机在解决小样本、非线性及高维模式识别问题中具有许多特有的优势,但支持向量的选择过程复杂。该文利用聚类技术的特殊性能,提出基于搜索机制的密度聚类算法,该算法通过一种简单的搜索策略可将密度高于一定限度的对象聚为一类。将该算法用于支持向量的预选取,可减少训练样本数目,提高支持向量机的训练速度。从仿真实验可以看出,通过基于搜索机制密度聚类的支持向量预选取,训练样本数目可减少2/3以上,线性可分的数据训练速度可加快12倍左右,非线性可分的数据训练速度可加快5倍左右。     

A Bayesian approach to joint feature selection and classifier design

This paper adopts a Bayesian approach to simultaneously learn both an optimal nonlinear classifier and a subset of predictor variables (or features) that are most relevant to the classification task. The approach uses heavy-tailed priors to promote sparsity in the utilization of both basis functions and features; these priors act as regularizers for the likelihood function that rewards good classification on the training data. We derive an expectation- maximization (EM) algorithm to efficiently compute a maximum a posteriori (MAP) point estimate of the various parameters. The algorithm is an extension of recent state-of-the-art sparse Bayesian classifiers, which in turn can be seen as Bayesian counterparts of support vector machines. Experimental comparisons using kernel classifiers demonstrate both parsimonious feature selection and excellent classification accuracy on a range of synthetic and benchmark data sets.     

基于粗糙集理论和模糊SVM的车牌识别技术研究

针对传统的SVM多分类存在不可分区域,提出一种粗糙FSVM识别算法。该算法根据粗糙集理论对训练样本进行建立决策表、离散决策表、约简决策表、提取分类规则等推理过程设计。不但有效改善训练时间,而且解决了传统的SVM多分类存在不可分区域的问题。实验表明,将该识别算法应用于车牌字符识别,取得在相同的条件下比支持向量机方法更为理想的识别效果。     

支持向量机在DSP中的实现方法研究

支持向量机是在统计学习理论基础上发展起来的一种新的模式识别方法,在解决小样本、非线性和高维模式识别问题中表现出了许多独特优势;为实现支持向量机的实时应用,提出了基于TMS320C6711DSP芯片的支持向量机的设计和实时实现方案,给出了支持向量机在模式识别中的实时应用模型和具体的硬件电路框图,对具体的硬件接口和软件编写进行了阐述;经系统仿真,该实现方法具有较好的可靠性和快速性,可以满足支持向量机的实时实现要求.     

Incremental training of support vector machines

We propose a new algorithm for the incremental training of support vector machines (SVMs) that is suitable for problems of sequentially arriving data and fast constraint parameter variation. Our method involves using a "warm-start" algorithm for the training of SVMs, which allows us to take advantage of the natural incremental properties of the standard active set approach to linearly constrained optimization problems. Incremental training involves quickly retraining a support vector machine after adding a small number of additional training vectors to the training set of an existing (trained) support vector machine. Similarly, the problem of fast constraint parameter variation involves quickly retraining an existing support vector machine using the same training set but different constraint parameters. In both cases, we demonstrate the computational superiority of incremental training over the usual batch retraining method.     

基于聚类算法和层次支持向量机的人脸识别方法

提出一种基于聚类算法和层次支持向量机的人脸识别方法。该方法在训练阶段把利用小波变换提取的图像特征先进行聚类，再利用聚类的结果来训练层挺支持向量机；识别阶段先利用层次支持向量机初步判断待识别图像最可能所属的人，最后利用免疫算法对待识别的人脸图像进行确认。实验表明，该算法效果较佳。     

基于支持向量机的纸币识别方法设计与研究

纸币识别是一个小样本、非线性和高维模式识别问题,是当前模式识别中的难题之一,具有重要研究意义和实用价值;选用支持向量机二次优化算法中的序贯最小优化算法,该算法以解析的方法处理优化问题,训练速度较快,识别率较高;序贯最小优化算法优化标准的单一阈值容易错判优化条件,从而导致花费大量时间寻找第二个优化样本;在优化标准中增设上下界两个阈值来判断优化条件,避免了原算法单一阈值判决的这个缺点,加快了训练速度,提高了识别率;将此种支持向量机训练算法用于纸币识别,能够充分发挥支持向量机解决小样本、非线性和高维模式识别问题的优点,能够适合工程应用中的需要.