基于边界样本选择的支持向量机加速算法

针对支持向量机（Support Vector Machine,SVM）处理大规模数据集的学习时间长、泛化能力下降等问题,提出基于边界样本选择的支持向量机加速算法。首先,进行无监督的K均值聚类;然后,在各个聚簇内依照簇的混合度、支持度因素应用K近邻算法剔除非边界样本,获得最终的类别边界区域样本,参与SVM模型训练。在标准数据集上的实验结果表明,算法在保持传统支持向量机的分类泛化能力的同时,显著降低了模型训练时间。     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

基于双重支持向量机的网络故障诊断

为了提高网络故障诊断模型的建立和诊断速度,提出一种双重支持向量机(Dual-SVM)算法.通过两次SVM训练确定诊断模型:第1次SVM训练通过两类样本的类中心和样本点在类中心连线方向上的投影分布情况直接确定近似最优分类面;第2次SVM训练根据第1次的训练结果选择边界样本点并计算其模糊隶属度,通过模糊SVM获得诊断模型.在DARPA数据集上的实验表明, Dual-SVM相较SVM能够获得更快的训练速度和更加简单的故障诊断模型.     

基于近邻边缘检测的支持向量机

针对标准支持向量机方法需要存储、计算和处理核矩阵而学习效率很低,不能有效处理较大规模数据挖掘的问题,提出一种基于近邻边缘检测的支持向量机方法 (SVM Method Based on Neighbor Edge Detection, ED_SVM)。该方法将近邻边缘检测技术引入SVM的训练过程,即首先对数据进行划分,选择混合类样本,通过边缘检测技术提取其中位于近似最优分类边界附近的含有较多重要支持向量信息的样本,构成新的小规模训练集,以在压缩训练集的同时保持原始支持向量信息的分布特性;并在新构成的训练集上训练标准SVM,在提高SVM学习效率的同时得到优秀的泛化性能。实验结果表明,本文提出的ED_SVM方法能够同时获得较高的测试精度和学习效率。     

基于萤火虫群优化支持向量机的网络入侵检测方法

为了解决支持向量机(SVM)方法应用于网络入侵检测中存在的参数设置和由样本不均带来的分类面偏斜问题,文章提出了一种基于萤火虫群优化支持向量机(GSO-SVM)的解决方案;算法在进行参数寻优的同时增加了修正因子,实现对分类面的修正,并采用萤火虫群算法进行求解,提高算法跳出局部最优的能力;在DARPA数据集上的检测精度达到97.33%,优于SVM和SVDD方法;实验结果表明文章提出的方法能够有效提高入侵检测模型的泛化性,降低误报率和漏报率。     

最小类内方差支持向量引导的字典学习

支持向量引导的字典学习算法依据大间隔分类原则,仅考虑每类编码向量边界条件建立决策超平面,未利用数据的分布信息,在一定程度上限制了模型的泛化能力.为解决该问题,提出最小类内方差支持向量引导的字典学习算法.将融合Fisher线性鉴别分析和支持向量机大间隔分类准则的最小类内方差支持向量机作为鉴别条件,在模型分类器的交替优化过程中,充分考虑编码向量的分布信息,保障同类编码向量总体一致的同时降低向量间的耦合度并修正分类矢量,从而挖掘编码向量鉴别信息,使其更好地引导字典学习以提高算法分类性能.在人脸、物体和手写数字识别数据集上的实验结果表明,在大部分样本和原子数量条件下,该算法的识别率和原子鲁棒性均优于K奇异值分解、局部特征和类标嵌入约束等经典字典学习算法.     

结合Tri-training半监督学习和凸壳向量的SVM主动学习算法*

为解决监督学习过程中难以获得大量带有类标记样本且样本数据标记代价较高的问题,结合主动学习和半监督学习方法,提出基于Tri-training半监督学习和凸壳向量的SVM主动学习算法.通过计算样本集的壳向量,选择最有可能成为支持向量的壳向量进行标记.为解决以往主动学习算法在选择最富有信息量的样本标记后,不再进一步利用未标记样本的问题,将Tri-training半监督学习方法引入SVM主动学习过程,选择类标记置信度高的未标记样本加入训练样本集,利用未标记样本集中有利于学习器的信息.在UCI数据集上的实验表明,文中算法在标记样本较少时获得分类准确率较高和泛化性能较好的SVM分类器,降低SVM训练学习的样本标记代价.     

融合数据分布特征的保序学习机

支持向量机（Support vector machine,SVM）作为一种经典的分类方法,已经广泛应用于各种领域中。然而,标准支持向量机在分类决策中面临以下问题：（1）未考虑分类数据的分布特征;（2）忽略了样本类别间的相对关系;（3）无法解决大规模分类问题。鉴于此,提出融合数据分布特征的保序学习机（Rank preservation learning machine based on data distribution fusion, RPLM-DDF）。该方法通过引入类内离散度表征数据的分布特征;通过各类样本数据中心位置相对不变保证全局样本顺序不变;通过建立所提方法和核心向量机对偶形式的等价性解决了大规模分类问题。在人工数据集、中小规模数据集和大规模数据集上的比较实验验证所提方法的有效性。     

非球形分布数据集的去噪方法

针对传统支持向量机(SVM)对噪声点过于敏感,模糊支持向量机(FSVM)又对样本集几何形状过分依赖等问题,提出基于噪声过滤系统的粗糙支持向量机(NFS-RSVM)。该方法首先用噪声过滤系统(NFS)将极可能为噪声点的样本过滤掉;然后将数据间隐含的等价类信息作为双惩戒因子融入到支持向量机模型中,进一步区分有效样本和噪声样本。基于UCI数据集的仿真结果表明,NFS-RSVM方法能有效地将数据中的大部分噪声点去除,与传统的SVM和FSVM相比分类精度有一定程度的提高。因此,该方法在处理噪声样本较多又呈现非球形分布的数据集时,表现出较好的抗噪性、分类效果和泛化能力。     

一种改进的支持向量机NN-SVM

支持向量机(SVM)是一种较新的机器学习方法，它利用靠近边界的少数向量构造一个最优分类超平面。在训练分类器时，SVM的着眼点在于两类的交界部分，那些混杂在另一类中的点往往无助于提高分类器的性能，反而会大大增加训练器的计算负担，同时它们的存在还可能造成过学习，使泛化能力减弱．为了改善支持向量机的泛化能力，该文在其基础上提出了一种改进的SVM—NN-SVM：它先对训练集进行修剪，根据每个样本与其最近邻类标的异同决定其取舍，然后再用SVM训练得到分类器．实验表明，NN-SVM相比SVM在分类正确率、分类速度以及适用的样本规模上都表现出了一定的优越性．     

A probabilistic active support vector learning algorithm

The paper describes a probabilistic active learning strategy for support vector machine (SVM) design in large data applications. The learning strategy is motivated by the statistical query model. While most existing methods of active SVM learning query for points based on their proximity to the current separating hyperplane, the proposed method queries for a set of points according to a distribution as determined by the current separating hyperplane and a newly defined concept of an adaptive confidence factor. This enables the algorithm to have more robust and efficient learning capabilities. The confidence factor is estimated from local information using the k nearest neighbor principle. The effectiveness of the method is demonstrated on real-life data sets both in terms of generalization performance, query complexity, and training time.     

相异度导引的有监督鉴别分析方法

提出了相异度导引的有监督鉴别分析方法（D-SDA）。结合模式局部信息和全局信息,定义了类内散度权重矩阵[RW]和类间散度权重矩阵[RB],分别表示类内样本的相异度、类间样本的相异度。由[RW]、[RB]导出类内散度矩阵[SW]和类间散度矩阵[SB],根据Fisher鉴别准则函数确定最优变换矩阵。在YALE和AR人脸图像库上的实验验证了这一算法的有效性。     

基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。     

Fisher和支持向量的综合分类器

结合Fisher判别分析和支持向量机的优点,提出了一种新的分类算法—Fisher-SV分类器（简称FSVC）。该分类器的核心思想就是寻找最优分类面的法向量w*,使得样本向量在w*上做投影后,不仅使分类间隔达到最大,而且使类内离散程度尽可能小。对于线性情况,可以转化为传统的支持向量机求解,而不需要设计新的求解算法。对于非线性情况,利用再生核理论得出新的求解算法。实验结果表明,该分类器具有很高的准确度和可靠性。     

基于样本投影分布的平衡不平衡数据集分类*

提出一种平衡不平衡数据集统一分类方法,首先得到训练样本基于支持向量机（SVM）超平面法线方向上的投影;再借助支持向量数据描述（SVDD）对训练样本投影分布进行描述;测试样本在此基础上实现分类。平衡或不平衡数据集都可采用相同的方法进行分类。实验表明该方法能够同时对平衡或不平衡数据集进行有效的分类。     

基于模糊核Fisher判别的说话人识别

在深入研究核Fisher判别方法的基础上,提出一种新的模糊核Fisher判别算法应用于说话人识别。采用模糊C均值聚类方法选择样本数据的同时,得到样本的模糊隶属度矩阵和聚类中心向量,进而对核Fisher判别算法中的类间离散度矩阵和类内离散度矩阵进行改进,生成模糊核Fisher判别算法,将其应用于说话人语音识别。     

Stochastic support vector regression with probabilistic constraints

Support Vector Regression (SVR) solves regression problems based on the concept of Support Vector Machine (SVM). In this paper, we introduce a novel model of SVR in which any training samples containing inputs and outputs are considered the random variables with known or unknown distribution functions. Constraints occurrence have a probability density function which helps to obtain maximum margin and achieve robustness. The optimal hyperplane regression can be obtained by solving a quadratic optimization problem. The proposed method is illustrated by several experiments including artificial data sets and real-world benchmark data sets.     

基于最大散度差鉴别准则的自适应分类算法

首先证明了,当类内散布矩阵非奇异时,特定参数值c0下最大散度差的最优鉴别方向等同于Fisher最优鉴别方向;其次,给出了最大散度差分类算法的识别率随参数C变化的曲线.该曲线通常为一脉冲曲线.随着参数C的增大,识别率也逐渐增大.当参数C增大到c0时,识别率达到最大值.另外,以往的研究成果表明:当类内散布矩阵奇异时,最大散度差鉴别准则逐步逼近大间距线性投影准则.而且,随着参数C的不断增大,最大散度差分类算法的识别率也单调增大并最终稳定到大间距线性投影分类算法的识别率上.为此,我们提出了基于最大散度差鉴别准则的自适应分类算法.新算法可以根据训练样本的特性(类内散布矩阵是否奇异)自动选择恰当的参数C.在UCI机器学习数据库上的6个数据集以及AR人脸图像数据库上的测试结果表明,自适应最大散度差分类算法具有良好的分类性能.     

基于泛滑动窗与2DLDA的单样本人脸识别

对于单训练样本人脸识别,基于每人多个训练样本的传统人脸识别算法效果均不太理想。尤其是基于Fisher线性鉴别准则的一些方法,由于类内散布矩阵为零矩阵,根本无法进行识别。提出一种新的样本扩充方法,即泛滑动窗法。采用“大窗口、小步长”的机制进行窗口图像采集和样本扩充,不仅增加了训练样本,而且充分保持和强化了原始样本模式固有的类内和类间信息。然后,使用二维线性鉴别分析方法（2DLDA）对上面获得的窗口图像进行特征抽取。在ORL国际标准人脸库上进行的实验证实了所提算法的可行性和有效性。