一种改进的支持向量机分类器

提出了一种将支持向量机分类和最近邻分类相结合的方法,形成了一种新的分类器.实验结果表明使用支持向量机结合最近邻分类的分类器分类比单独使用支持向量机分类具有更高的分类准确率,同时可以较好地解决应用支持向量机分类时核函数参数的选择问题.     

SVM-KNN分类器——一种提高SVM分类精度的新方法

本文提出了一种将支持向量机分类和最近邻分类相结合的方法,形成了一种新的分类器.首先对支持向量机进行分析可以看出它作为分类器实际相当于每类只选一个代表点的最近邻分类器,同时在对支持向量机分类时出错样本点的分布进行研究的基础上,在分类阶段计算待识别样本和最优分类超平面的距离,如果距离差大于给定阈值直接应用支持向量机分类,否则代入以每类的所有的支持向量作为代表点的K近邻分类.数值实验证明了使用支持向量机结合最近邻分类的分类器分类比单独使用支持向量机分类具有更高的分类准确率,同时可以较好地解决应用支持向量机分类时核函数参数的选择问题.     

遗传算法优化特征权值的支持向量机图像分类

为了提高图像分类的准确率,提出了一种遗传算法优化特征权值的支持向量机图像分类(GA-SVM).首先分别提取图像的颜色和纹理特征,然后采用改进遗传算法确定特征权值,最后采用支持向量机建立图像分类器,并对corel图像库进行仿真测试.结果表明,相对于其他图像分类算法,GA-SVM提高了图像分类精度.     

一种提高支持向量机针对低维向量分类精度的新方法

本文提出一种支持向量机的全局优化训练算法,形成一种新的分类器,以解决传统的支持向量机在对低维样本点分类时产生的精度下降问题。首先对支持向量机原理,以及以SVM—light为代表的经黄SVM训练算法进行分析,发现支持向量机的训练在本质上都归结为具有不等式约束条件的二次规划问题。本文直接根据支持向量机的最优分类超平面,将其化为无约束条件的求解函数极值问题。然后采用全局优化算法-禁忌搜索算法得到函数的极值点。通过两类高斯样本点分类实验和人脸图像识别的多类分类试验,证明使用支持向量机的全局优化训练算法,在样本点特征向量维数较低的情况下,比使用传统的支持向量机训练算法分类具有更高的分类准确率。     

基于一类支持向量机的盲元检测方法

利用无监督学习的一类支持向量机（One Class Support Vector Machine,OCSVM）和随机场景图像序列,构造滚动更新的像元分类模型,实现红外焦平面盲元的在线检测。根据正常像元和异常像元数量和灰度特征的差异,以随机图像序列作为输入数据,使用OCSVM建立单一类别的像元分类模型,灰度变化的像元归为一类,其他像元不属于此类。由于随机图像序列的滚动更新,OCSVM模型及支持向量也随之更新。统计支持向量的频次,高频次支持向量对应的像元聚为一类,即为异常像元。以320256中波红外图像序列为例,说明了OCSVM模型进行盲元检测的过程,检测结果与黑体定标的结果一致。基于随机场景和OCSVM模型的盲元检测方法摆脱了定标黑体的约束,提高了盲元检测的灵活性。     

复杂分类问题支持向量机的简化

对于复杂分类问题,不可避免的会有错分情况,此时支持向量机的支持向量较多,影响了识别速度.为了解决这个问题,我们提出了基于最小错分间隔的分类思想,并在此基础上得出了一种新的简化支持向量机.与普通支持向量机相比,这种简化支持向量机有较少的支持向量、较高的识别速度,而且实验结果表明,它的识别精度完全可以与普通支持向量机的识别精度相媲美,甚至更优.     

支持向量机在模式识别中的应用

针对传统神经网络存在网络结构难于确定、过学习以及局部极小等问题,研究了基于支持向量机（SVM）的模式识别问题。通过对棋盘这种典型非线性二值问题的分类研究,分析了支持向量机的分类与泛化能力。支持向量机在分类和泛化能力方面远远优于传统神经网络。最后将支持向量机用于对两类飞机目标的分类识别,通过多组蒙特卡罗试验,获得了较好的识别结果。支持向量机在目标识别中有巨大潜力和广阔前景。     

一种基于类融合向量的支持向量机及其在语音识别系统中的应用

支持向量机可以通过产生的支持向量来概括数据集合中的信息,其分类函数仅依赖于一小部分训练样本,即支持向量,这使得它对噪声数据非常敏感.本文采用数据融合的方法加以改进,提出了一种新的基于类融合向量的支持向量机,降低了对噪声数据和较大偏差值的敏感性,提高了算法的容噪性能,并成功地应用于语音识别系统中,取得了较好的效果.     

应用Gabor小波和支持向量机的纹理分类

针对现有纹理分类算法的局限性,提出了一种基于Gabor小波和支持向量机的纹理分类算法.首先提取纹理Gabor分解后各子带的均值和方差作为特征向量,进而利用支持向量机算法实现分类.实验结果表明,与传统的分类方法相比,Gabor小波和支持向量机相结合能有效地提高分类正确率.     

基于改进SVM算法的电力工程异常数据检测方法设计

针对传统电力工程数据异常检测过程中存在准确度差且主观性较强的问题,文中提出了一种基于改进支持向量机的电力工程数据异常检测模型。其在传统支持向量机的基础上加入了二叉树多分类算法,从而使模型具备多特征分类能力。同时通过引入AdaBoost分类器,来改善支持向量机弱特征分类能力较差的不足。为进一步提高准确度,还使用鲸鱼算法对模型惩罚项、核函数及迭代次数进行优化。在实验测试中,所提算法的检测准确度相较其他三种对比算法分别提升了5.35%、2.17%和5.35%,说明该算法具备更为理想的性能,并可有效提升电力工程数据检测的准确度,故能为电力基建工程验收与管理提供数据支撑。     

基于LLE的分类算法及其在被动毫米波目标识别中的应用

该文针对模式识别中的单类分类问题,根据LLE算法思想,考虑数据分布的低维流形,提出了一种单类分类算法。基于流形学习算法发现了被动毫米波信号的短时傅里叶谱中低维流形的存在,并讨论了其特性。将新算法应用于被动毫米波金属目标识别,相对目前流行的分类算法,取得了更好的效果,且算法对输入参数不敏感,在数据混叠程度较高时仍有很好的鲁棒性。     

一种集成式Beta过程最大间隔一类分类方法

一类分类是一种将目标类样本和其他所有的非目标类样本区分开的分类方法。传统的一类分类方法针对所有训练样本建立一个分类器,忽视了数据的内在结构,在样本分布复杂时,其分类性能会严重下降。为了提升复杂分布情况下的分类性能,该文提出一种集成式Beta过程最大间隔一类方法。该方法利用Dirichlet过程混合模型(DPM)对训练样本聚类,同时在每一个聚类学习一个Beta过程最大间隔一类分类器。通过多个分类器的集成,可以构造出一个描述能力更强的分类器,提升复杂分布下的分类效果。DPM聚类模型和Beta过程最大间隔一类分类器在同一个贝叶斯框架下联合优化,保证了每一个聚类样本的可分性。此外,在Beta过程最大间隔一类分类器中,加入了服从Beta过程先验分布的特征选择因子,从而可以降低特征冗余度以及提升分类效果。基于仿真数据、公共数据集和实测SAR图像数据的实验结果证明了所提方法的有效性。     

基于L1范数稀疏距离测度学习的单类分类算法

 已有单类分类算法通常采用欧氏测度描述样本间相似关系,然而欧氏测度有时难以较好地反映一些数据集样本的内在分布结构,为此提出一种用于改善单类分类器描述性能的高维空间单类数据距离测度学习算法,与已有距离测度学习算法相比,该算法只需提供目标类数据,通过引入样本先验分布正则化项和L1范数惩罚的距离测度稀疏性约束,能有效解决高维空间小样本情况下的单类数据距离测度学习问题,并通过采用分块协调下降算法高效的解决距离测度学习的优化问题.学习得到的距离测度能容易地嵌入到单类分类器中,仿真实验结果表明采用学习得到的距离测度能有效改善单类分类器的描述性能,特别能够改善覆盖分类的描述能力,从而使得单类分类器具有更强的推广能力.     

One-Class Classification Framework Based on Shrinkage Methods

Statistical machine learning, such as kernel methods, have been widely used to discover hidden regularities and patterns in data. In particular, one-class classification algorithms gained a lot of interest in a large number of applications where the only available data designate a unique class, as in industrial processes. In this paper, we propose a sparse framework for one-class classification problems, by investigating the hypersphere enclosing the samples in a Reproducing Kernel Hilbert Space (RKHS). The center of this hypersphere is approximated using a sparse solution, by selecting an appropriate set of relevant samples. For this purpose, we investigate well-known shrinkage methods, namely Least Angle Regression, Least Absolute Shrinkage and Selection Operator, and Elastic Net. We revisit these methods and adapt their algorithms for estimating the sparse center in the RKHS. The proposed framework is extended to include the truncated Mahalanobis distance, which is necessary when dealing with heterogenous input variables. We also provide some theoretical results on the projection error and on the error of the first kind. The proposed algorithms are compared with well-known one-class classification approaches, with experiments conducted on simulated and real datasets.     

基于分级属性的软件监控点可信行为模型

为了准确判断软件的可信性,针对软件预期行为轨迹中的软件监控点,该文提出了一个基于分级属性的软件监控点可信行为模型。首先,依据软件监控点各属性在可信评价中的作用范围将属性分级,构建各级属性的可信行为模型。其次,针对场景级属性,对同一监控点的训练样本进行区分,提出了一个基于高斯核函数的场景级属性聚类算法;针对单类训练样本,提出了基于单类样本的场景级属性权重分配策略。最后,实验分析表明:基于分级属性的软件监控点可信行为模型能够准确地对监控点的可信性进行评价;对于场景级属性可信模型,采用基于高斯核函数的场景级属性聚类算法具有更低的分类错误率,基于单类样本的场景级属性权重分配策略具有更优的可信性评价效果。     

基于混合多样性生成与修剪的集成单类分类算法

针对传统集成学习方法直接应用于单类分类器效果不理想的问题,该文首先证明了集成学习方法能够提升单类分类器的性能,同时证明了若基分类器集不经选择会导致集成后性能下降;接着指出了经典集成方法直接应用于单类分类器集成时存在基分类器多样性严重不足的问题,并提出了一种能够提高多样性的基单类分类器混合生成策略;最后从集成损失构成的角度拆分集成单类分类器的损失函数,针对性地构造了集成单类分类器修剪策略并提出一种基于混合多样性生成和修剪的单类分类器集成算法,简称为PHD-EOC。在UCI标准数据集和恶意程序行为检测数据集上的实验结果表明,PHD-EOC算法兼顾多样性与单类分类性能,在各种单类分类器评价指标上均较经典集成学习方法有更好的表现,并降低了决策阶段的时间复杂度。     

基于简约凸壳的一类模糊支持向量机

为解决传统一类支持向量机对噪声数据敏感和不适用于大规模分类等问题,提出了用于大规模噪声环境的基于简约凸壳的一类模糊支持向量机（OC-FSVM-RCH）.OC-FSVM-RCH根据简约凸壳的定义在核空间得到代表正常类数据几何特征的样本,然后基于改进的模糊支持向量域描述算法,使得正常类数据包含在最小超球内,异常数据与超球间隔最大化.OC-FSVM-RCH剔除正常类数据轮廓边缘处的噪声,同时对数据内部的噪声不敏感.实验结果表明了所提算法在性能和训练时间上取得了良好的效果.     

One-Class分类器研究

 传统的多类分类问题需要多类样本训练分类器,然而由于样本获取(复杂性或代价)的原因很多情况下只能获取一类样本,故只能利用这一类样本进行学习,形成数据描述从而实现分类,故称之为One-Class分类.鉴于目前单类分类研究存在领域相关方法和通用方法百花齐放的格局,本文首先给出了当前One-Class分类器的研究综述,然后重点针对基于核方法的单类分类器进行分析,将该类方法分为对偶方式和核距离方式两类,并分析各自的特点.最后论文介绍了目前的单类分类器的应用领域,指出其在故障分析、异常检测、疾病诊断和敌我识别等现实问题中的重要作用.     

基于写相关支持向量描述的入侵防护审计模型研究

设计了基于写相关支持向量描述的安全审计模型来实现一个新的单类分类器,对系统调用中“写性质”子集进行监视和分析,并以此训练单类分类器,使偏离正常模式的活动都被认为是潜在的入侵。该模型仅利用正常样本建立了单分类器,因此系统还具有对新的异常行为进行检测的能力。通过对主机系统执行迹国际标准数据集的优化处理,只利用少量的训练样本,实验获得了对异常样本100%的检测率,而平均虚警率接近为0。     

A novel SVM for Ground Penetrating Synthetic Aperture Radar landmine detection

The use of vehicle-or air-borne Ground Penetrating Synthetic Aperture Radar （GPSAR） to quickly detect landmines over large areas is becoming a trend. However, producing too many false alarms in GPSAR landmine detection is a major challenge in practical applications of GPSAR. Support Vector Machine （SVM）, employing structural risk minimization theory, does not need large amounts of training data, which makes it suitable for solving the landmine detection problem. In this paper, a novel SVM with a hypersphere instead of a hyperplane classification boundary is proposed for landmine detection in GPSAR. The HyperSphere-SVM （HS-SVM） can be trained with both landmine and clutter data, or with landmine data only, which are called the two-class HS-SVM and the one-class HS-SVM, respectively. The HS-SVM has better generalization capability than the traditional HyperPlane-SVM （HP-SVM） with respect to varying operating conditions. Quantitative comparisons have been made using real data collected with the rail-GPSAR landmine detection system, which show that both the two-class and the one-class HS-SVMs have better detection performance than the HP-SVM.