Feature Extraction Based on Maximum Nearest Subspace Margin Criterion

Based on the classification rule of sparse representation-based classification (SRC) and linear regression classification (LRC), we propose the maximum nearest subspace margin criterion for feature extraction. The proposed method can be seen as a preprocessing step of SRC and LRC. By maximizing the inter-class reconstruction error and minimizing the intra-class reconstruction error simultaneously, the proposed method significantly improves the performances of SRC and LRC. Compared with linear discriminant analysis, the proposed method avoids the small sample size problem and can extract more features. Moreover, we extend LRC to overcome the potential singular problem. The experimental results on the extended Yale B (YALE-B), AR, PolyU finger knuckle print and the CENPARMI handwritten numeral databases demonstrate the effectiveness of the proposed method.     

基于语境距离度量的拉普拉斯最大间距判别准则

线性拉普拉斯判别准则(Linear Laplacian discrimination, LLD)作为一种非线性特征提取方法得到了较为成功的运用. 然而通过分析得知在具体使用LLD方法的过程中还会面临小样本以及如何确定原始样本空间类型的问题. 因此, 本文引入语境距离度量并结合最大间距判别准则的基本原理提出一种基于语境距离度量的拉普拉斯最大间距判别准则(Contextual-distance metric based Laplacian maximum margin criterion, CLMMC). 该准则不但在一定程度上避免小样本问题, 而且由于语境距离度量更关注输入样本簇内在的本质结构而不是原始样本空间的类型, 从而降低了该准则对特定样本空间的依赖程度. 同时通过引入计算语境距离度量的新算法并结合QR分解的基本原理, 使得CLMMC在处理高维矢量模式数据时更具适应性和效率. 并从理论上讨论CLMMC准则具有的基本性质以及与LLD准则的内在联系. 实验证明CLMMC准则具有上述优势.     

基于模糊最大间距准则的人脸特征提取方法

在最大间距准则算法中引入模糊化思想,提出了基于模糊最大间距准则（FMMC）的人脸识别算法.首先讨论图像对各个类别的隶属程度,并重新定义了类内和类间离散度矩阵;然后利用模糊最大间距准则得到最优投影变换矩阵;最后将原始训练样本数据投影到一个相对低维的特征空间,从而完成对训练样本数据的特征提取.在ORL和Yale标准人脸库上的实验结果表明,文中提出的模糊最大间距准则特征提取方法用于人脸识别具有较高的识别率.     

有局部保持的最大间距准则特征提取方法

最大间距准则(MMC)的目的是在克服小样本问题的同时,寻求一组最佳鉴别矢量使得投影变化后的特征空间的类问散度最大,而且类内散度最小.文中所提出的特征提取方法与原来MMC相比,经过对原来的散度加乘权重,以及通过对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构.在ORL人脸库、YALE标准人脸库和UMIST人脸库上的实验结果表明,该方法能够对光照和姿态变化具有一定的鲁棒性,能更为有效地识别人脸图像,提高识别率.     

基于最大间距准则的局部图嵌入特征提取方法

针对局部线性嵌入(LLE)算法和最大间距准则(MMC)算法在特征提取问题中存在不足,提出一种有效的数据降维和分类方法--基于最大间距准则的局部图嵌入特征提取算法,并将其应用在人脸识别上.该算法在保持近邻的前提下,分别构造类内紧致图和类间惩罚图.首先在类内紧致图中利用线性重构的局部对称性找出高维数据空间中的非线性结构,使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能分离;为了避免"小样本"问题,采用MMC的形式构造目标函数.在ORL,Yale和AR人脸图像库进行实验的结果表明,文中算法相对于DLA和LLE+LDA算法有较好的识别性能.     

最大间距准则与局部保持结合的特征提取方法

利用最大间距准则（MMC）寻求一组最佳鉴别矢量,使投影变化后的特征空间的类间散度最大,类内散度最小,并克服小样本问题。与原MMC相比,新特征提取方法通过对原来的散度加乘权重及对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构。在ORL人脸库上的实验结果表明,该方法能够更为有效地识别人脸图像,提高识别率。     

基于大间距准则和图像矩阵双向投影的人脸特征提取方法

传统基于降维技术的人脸特征提取需要将图像转换成更高维的向量, 从而加剧维数灾难问题, 对于采用Fisher优化准则的特征提取, 这也会使小样本问题更加突出. 基于图像的矩阵表示, 本文提出了一种新的基于大间距准则和矩阵双向投影技术的人脸特征提取方法(Maximum margin criterion and image matrix bidirectional projection, MMC-MBP). 该方法一方面在计算散度矩阵时引入了能保持数据局部性的Laplacian矩阵, 以保持数据的流形结构, 从而提高识别正确率; 另一方面采用了有效且稳定的大间距的优化准则即最大化矩阵迹差, 能克服利用Fisher准则所带来的小样本问题; 更重要的, MMC-MBP方法给出了求解最优双向投影矩阵的迭代计算过程, 该迭代求解过程能保证目标函数的单调递增性、收敛性以及投影矩阵的收敛性, 从而成功解决了传统基于张量(矩阵)投影技术的特征提取方法特征维数过高或者无收敛解的问题. 最后广泛而系统的人脸识别实验表明, MMC-MBP的迭代求解过程能很快收敛, 且相比Eigenfaces, Fisherfaces, Laplacianfaces等脸识别方法, 具有更高的识别正确率, 是一种有效的人脸特征提取方法.     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC）,利用统计不相关投影空间,提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集,既要使投影后的特征空间的类间散度最大,而类内散度最小;又要使最佳鉴别矢量之间具有统计不相关性。另外,本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明,本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

基于加权最大类间边缘准则的人脸识别

在人脸识别中,特征提取技术被广泛应用于减少数据量和增强数据可分性。该文依据最大类间边缘准则,提出一种加权最大类间边缘准则的特征提取方法,引入加权函数,对类内和类间散布矩阵分别进行加权。并设计了一个基于离散小波分解、主成分分析和加权最大类间边缘准则的人脸识别系统。在ORL人脸库上的测试结果证实,该方法提高了识别率,最高识别率达98.25%。     

基于加权邻域极大边界准则的人脸识别

极大边界准则是近年来提出的一种有监督的线性空间降维方法,该方法通过求解一般的特征方程来获得最优的特征向量,不用计算高维矩阵的逆,克服了特征提取中遇到的小样本问题。然而,极大边界准则只选择数据的全局结构,忽略了数据局部几何结构,而在人脸识别中,数据的局部几何结构起着非常重要的作用。针对极大边界准则这一局限性,提出了一种新的极大边界准则算法。该方法选择数据的邻域点最优重构系数用在目标函数中,保留了数据的局部几何结构,从而在低维空间中提取出更好的分类特征。本文还将该方法用在人脸识别中,通过在两个数据库中的实验,证明了其较主成分分析法,线性判别式方法以及平均邻域极大边界准则算法具有更好的识别性能。     

基于局部保持投影的鉴别最大间距准则

提出一种基于流形学习的特征提取方法——鉴别最大间距准则。该方法采用线性投影,保留最优的局部和全局信息数据集。试图找到具有最好鉴别能力的原始信息,使类间离散度最大的同时类内离散尽可能的小。该方法在识别率上比其它方法都有较大提高,通过在YALE和JAFFE人脸库上的实验验证该方法的有效性。     

基于Bhattacharyya距离准则的核空间特征提取算法

提出了一种新的以Bhattacharyya距离为准则的核空间特征提取算法．该算法的核心思想是把样本非线性映射到高维核空间．在核空间中寻找一组最优特征向量,然后把样本线性映射到低维特征空间,使类别间的Bhattacharyya距离最大。从而保证Bayes分类误差上界最小．采用核函数技术,把特征提取问题转化为一个QP(Quadratic Programming)优化问题．保证了算法的全局收敛性和快速性．此算法具有两个优点：(1)该算法提取的特征对数据分类来说更有效;(2)对于给定的模式分类问题,算法可以预测出在不损失分类精度情况下所必须的特征向量数目的上界,并能够提取出分类有效特征．实验结果表明,该算法的性能与理论分析的结论相吻合,优于目前常用的特征提取算法．     

Quaternion Based Maximum Margin Criterion Method for Color Face Recognition

Color is one of the basic features of images, which can provide very useful information and play an important role in face recognition. By using the quaternion matrix representation, the R, G, B information of each pixel is not destroyed and it can be taken as a organic body. Therefore, this paper proposes a quaternion based maximum margin criterion (QMMC) algorithm. Firstly, the quaternion number is used to denote the pixel of the color image, and a quaternion vector is taken to represent the color image. Secondly, the maximum margin criterion algorithm is used to project the quaternion vector in the high-dimension space into a low-dimension space. Finally, the nearest neighbor classification are taken for classification recognition. Numerous experiments show that the proposed QMMC can achieve better recognition performance.     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于非参数化最大间隔准则的雷达目标识别

针对线性判别分析（LDA）的“小样本”和要求数据须服从高斯分布的问题,提出一种基于非参数化最大间隔准则（NMMC）的雷达目标识别方法．首先,利用自相关小波变换提取目标高分辨距离像（HRRP）的非平稳特征,将其与HRRP原信号一起作为目标的分类特征,利用NMMC实现特征提取;然后,通过支持向量机进行分类．NMMC在解决小样本问题的同时,松弛了对数据分布的类高斯要求．最后,基于5种飞机高分辨距离像数据的仿真实验验证了所提出方法的有效性．     

基于标签敏感最大间隔准则的人脸年龄两步估计算法

传统的最大间隔准则在计算类间离散度矩阵时往往忽略了类别之间的差异,但是对于人脸年龄估计,不同年龄标签之间的差异性是非常显著的。因此,在标签之间引入距离度量,提出标签敏感的最大间隔准则维数约减算法。此外,考虑到人脸变老的复杂性,提出两步的局部回归算法——K近邻-标签分布的支持向量回归(K Nearset Neighbors-Label Distribution Support Vector Reressor,KNN-LDSVR),以进行人脸年龄估计。在FGNET数据库子集上提出的人脸年龄估计方法的平均绝对误差为4.1岁,相对于已有的年龄估计方法,性能得到提升。     

A Novel Margin Based Algorithm for Feature Extraction

Margin based feature extraction has become a hot topic in machine learning and pattern recognition. In this paper, we present a novel feature extraction method called Adaptive Margin Maximization (AMM) in which margin is defined to measure the discrimination ability of the features. The motivation comes principally from the iterative weight modification mechanism of the powerful boosting algorithms. In our AMM, the samples are dynamically weighted and features are learned sequentially. After one new feature is learned by maximizing the weighted total margin of data, the weights are updated so that the samples with smaller margins receive larger weights. The feature learned in the next round will thus try to concentrate more on these “hard” samples adaptively. We show that when the data are projected onto the feature space learned by AMM, most examples have large margins, and therefore the nearest neighbor classifier yields small generalization error. This is in contrast to existing margin maximization based feature extraction approaches, in which the goal is to maximize the total margin. Extensive experimental results on benchmark datasets demonstrate the effectiveness of our method.     

基于小波模极值的虹膜特征提取算法

随着生物识别技术日益扩大的应用范围和研究深度,各种识别算法层出不穷.主要介绍了虹膜特征提取阶段一种常见的小波模极值算法,阐述了算法技术、解决方案和效果.