一类基于多目标规划的线性鉴别准则

两类Fisher鉴别准则、大间距线性投影准则以及最大散度差鉴别准则都是直接用于模式分类的两类线性鉴别准则,它们的共同点是将“投影后数据的可分性达到最大的方向”作为最优投影方向。区别在于它们对数据可分性的定义有所不同。过去的研究成果表明,大间距线性投影分类器与支持向量机之间、大间距线性投影准则与最大散度差鉴别准则之间以及最大散度差鉴别准则与两类Fisher鉴别准则之间,均存在着这样或那样的联系。论文试图在以往研究成果的基础上进一步理清这些两类线性鉴别准则之间的内在关系,并建立一个统一的理论框架从而将基于投影后数据可分性的这些两类线性鉴别准则都纳入其中。     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

基于最大散度差鉴别准则的自适应分类算法

首先证明了,当类内散布矩阵非奇异时,特定参数值c0下最大散度差的最优鉴别方向等同于Fisher最优鉴别方向;其次,给出了最大散度差分类算法的识别率随参数C变化的曲线.该曲线通常为一脉冲曲线.随着参数C的增大,识别率也逐渐增大.当参数C增大到c0时,识别率达到最大值.另外,以往的研究成果表明:当类内散布矩阵奇异时,最大散度差鉴别准则逐步逼近大间距线性投影准则.而且,随着参数C的不断增大,最大散度差分类算法的识别率也单调增大并最终稳定到大间距线性投影分类算法的识别率上.为此,我们提出了基于最大散度差鉴别准则的自适应分类算法.新算法可以根据训练样本的特性(类内散布矩阵是否奇异)自动选择恰当的参数C.在UCI机器学习数据库上的6个数据集以及AR人脸图像数据库上的测试结果表明,自适应最大散度差分类算法具有良好的分类性能.     

基于保持投影的最大散度差的特征抽取方法

对非监督鉴别投影(UDP)准则进行修正,并在修正的准则基础上提出基于保持投影的最大散度差的特征抽取方法.该方法利用非局部散度与局部散度之差作为鉴别准则,从而避免UDP线性鉴别分析中所遇到的小样本问题引起的局部散度矩阵奇异的问题.在标准人脸数据库Yale和FERET上进行实验,实验结果表明本文方法的有效性.     

近邻类鉴别分析方法

提出一种近邻类鉴别分析方法,线性鉴别分析是该方法的一个特例。线性鉴别分析通过最大化类间散度同时最小化类内散度寻找最佳投影,其中类间散度是所有类之间散度的总体平均;而近邻类鉴别分析中类间散度定义为各个类与其k个近邻类之间的平均散度。该方法通过选取适当的近邻类数,能够缓解线性鉴别降维后造成的部分类的重叠。实验结果表明近邻类鉴别分析方法性能稳定且优于传统的线性鉴别分析。     

2维异方差鉴别分析及其在人脸识别中的应用

在2维线性鉴别分析(2DLDA)的基础上.介绍了2维异方差鉴别分析(2DHDA),并将其应用于人脸识别.2DHDA算法去除了2DLDA算法样本类内协方差相等的约束,克服了异方差鉴别分析(HDA)算法的"小样本"问题.首先,根据2DLDA准则定义2DHDA准则;然后,将2DHDA准则取对数,用梯度下降法求得最优投影矩阵,人脸图像向最优投影矩阵投影提取人脸图像的特征;最后,最小距离分类器完成人脸识别.基于ORL与Yale混合人脸数据库的实验结果表明了2DHDA应用于人脸识别的有效性.     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC），利用统计不相关投影空间，提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集，既要使投影后的特征空间的类间散度最大，而类内散度最小；又要使最佳鉴别矢量之间具有统计不相关性。另外，本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明，本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

基于散度比例准则的高分辨距离像特征提取

针对传统线性判别分析(LDA)的子空间倾向于保留大类间距离类对的可分性,而丢弃小类间距离类对的可分性的问题,基于子空间应均衡保留各类对可分性的思想,提出一种新的准则——散度比例(PD)准则。PD准则为各类对子空间散度与原空间散度之比的均值,并推导出最大化PD准则的线性判别分析(PD-LDA)的求解过程。采用PD-LDA对高分辨距离像(HRRP)的幅度谱进行特征提取,基于外场实测数据,分别训练了最小欧氏距离分类器和支持向量机(SVM)分类器,两种分类器的识别结果均表明,PD-LDA相比LDA,可显著降低数据维数并有效提高识别率。     

基于多类最大散度差的人脸表示方法

将用于两类分类的最大散度差鉴别准则推广为多类最大散度差鉴别准则,并建立了基于该准则的一种新的人脸表示方法.基于多类最大散度差鉴别准则的人脸表示方法有效避免了传统鉴别分析方法在人脸特征提取时通常面临的小样本模式识别问题.在国际标准人脸图像数据库ORL、Yale以及FERET上的实验结果表明,与Fisherfaces、Eigenfaces、正交补空间、零空间等人脸特征提取方法相比,新的人脸表示方法具有一定的优势.     

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法.该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高.在ORL人脸数据库上的实验结果验证了该算法的有效性.     

Large margin linear projection and face recognition

Unlike linear discriminant analysis, the large margin linear projection (LMLP) classifier presented in this paper, which also roots in linear Fisher discriminant, takes full advantage of the singularity of within-class scatter matrix, and classifies projected points in one-dimensional space by itself. Theoretical analysis and experimental results both reveal that LMLP is well suited for high-dimensional small-sample pattern recognition problems such as face recognition.     

Enhanced algorithm for high-dimensional data classification

Minimum class variance support vector machine (MCVSVM) and large margin linear projection (LMLP) classifier, in contrast with traditional support vector machine (SVM), take the distribution information of the data into consideration and can obtain better performance. However, in the case of the singularity of the within-class scatter matrix, both MCVSVM and LMLP only exploit the discriminant information in a single subspace of the within-class scatter matrix and discard the discriminant information in the other subspace. In this paper, a so-called twin-space support vector machine (TSSVM) algorithm is proposed to deal with the high-dimensional data classification task where the within-class scatter matrix is singular. TSSVM is rooted in both the non-null space and the null space of the within-class scatter matrix, takes full advantage of the discriminant information in the two subspaces, and so can achieve better classification accuracy. In the paper, we first discuss the linear case of TSSVM, and then develop the nonlinear TSSVM. Experimental results on real datasets validate the effectiveness of TSSVM and indicate its superior performance over MCVSVM and LMLP.     

Fuzzy discriminant analysis with kernel methods

A novel fuzzy nonlinear classifier, called kernel fuzzy discriminant analysis (KFDA), is proposed to deal with linear non-separable problem. With kernel methods KFDA can perform efficient classification in kernel feature space. Through some nonlinear mapping the input data can be mapped implicitly into a high-dimensional kernel feature space where nonlinear pattern now appears linear. Different from fuzzy discriminant analysis (FDA) which is based on Euclidean distance, KFDA uses kernel-induced distance. Theoretical analysis and experimental results show that the proposed classifier compares favorably with FDA.     

GIS设备局部放电特高频信号线性判别分析识别研究

局部放电测量是监测绝缘系统缺陷的典型非破坏性实验方法,提出了一种基于局部放电特高频(UHF)信号的多尺度特征提取能量参数和线性判别分析的识别方法,设计了4种绝缘缺陷模型模拟气体绝缘开关(GIS)设备局部放电现象。对局部放电UHF信号进行小波包多尺度变换,提取出UHF信号的16维能量参数;又对局部放电UHF信号进行了线性判别分析的设计,在局部放电信号特征量中随机选取30组进行10次采样;对其训练分类器的UHF局部放电信号进行模式识别,得到10个相关结果;试验获得最终的30组训练样本正确率平均值较高。研究结果表明线性判别分类器能够有效地将4种局部放电模型分开。     

基于主元和判别集成分析的模拟电路故障诊断

提出了主元和线性判别的集成分析算法以实施模拟故障数据的特征提取过程和方法。该集成分析方法首先对模拟故障数据进行主元分析,然后在主元变换空间实行线性判别分析,最后将所获得的最优判别特征模式应用于模式分类器进行故障诊断。仿真结果表明,所提出的方法能够充分利用线性方法的计算简便优势,增强单一主元分析或线性判别分析的特征提取性能,获取故障数据集的本质特征,简化模式分类器的结构,降低系统运行的计算成本。     

DF-LDA tree: a nonlinear multilevel classifier for pattern recognition

This article presents a new nonlinear classifier by arranging linear classifiers in a tree structure. The proposed classifier, called the direct fractional-step linear discriminant (DF-LDA) tree, adopts a tree structure containing a DF-LDA at each node. The structure of the tree classifier evolves as the training proceeds, so there is no need to decide any parameters as a priori. Due to the many DF-LDAs arranged in the tree structure, classification performance of the proposed classifier is improved over single-shot DF-LDA. The proposed DF-LDA tree is tested on various synthetic and real datasets. Experimental results show that the proposed classifier leads to very satisfactory results in terms of classification accuracy.     

分类器选择的IDS系统入侵检测方法

为了提高IDS入侵样本检测的速度,提出了分类器选择的入侵检测方法.该方法充分考虑到线性分类器在数据分类操作中的速度优势,以线性可分度判定的的结果为基础,灵活选择(非)线性分类器进行数据分类,较之单一的SVM分类方法,虽然增加了额外的线性判别的系统开销,却因此获得分类性能的极大提升.在KDD Cup99数据集上进行实验,...     

NMF与LDA相结合的彩色人脸识别

为了提高彩色人脸识别的性能,提出了一种非负矩阵分解与线性判别分析相结合的彩色人脸识别算法。首先采用非负矩阵分解算法对彩色人脸图像不同颜色通道的信息进行编码,计算彩色人脸图像空间的基图像;然后根据非负矩阵分解计算得到的图像分解系数,融入人脸对象的类别信息,采用线性判别分析算法计算最优的鉴别子空间;最后以彩色人脸图像的投影系数为特征,采用最近邻分类算法进行人脸识别。在CVL和CMUPIE人脸数据库上的实验结果验证了提出的彩色人脸识别算法的正确性和有效性。     

人脸的性别分类

人脸的性别分类是指根据人脸的图像判别其性别的模式识别问题．系统地研究了不同的特征提取方法和分类方法在性别分类问题上的性能，其中包括主分量分析(PCA)、Fishel线性鉴别分析(FLD)、最佳特征提取、Adaboost算法、支持向量机(SVM)．给出了在9姿态人脸库、FERET人脸库和一个网络图片人脸库上的对比实验结果．实验表明人脸中的性别信息集中存在于某个子空间中，因此，在分类前对样本进行适当的压缩降维不但不会明显降低分类器的性能，而且可以大大减少分类的时间开销．最后介绍了将性别分类器与自动人脸检测和特征提取平台集成起来的基于人脸图像的性别判别系统．