核岭回归的邻域保持最大间隔分析的人脸识别

邻域保持嵌入是局部线性嵌入的线性近似,强调保持数据流形的局部结构.改进的最大间隔准则重视数据流形的判别和几何结构,提高了对数据的分类性能.文中提出的核岭回归的邻域保持最大间隔分析既保持流形的局部结构,又使不同类别的数据保持最大间隔,以此构建算法的目标函数.为了解决数据流形高度非线性化的问题,算法采用核岭回归计算特征空间的变换矩阵.先求解数据样本在核子空间中降维映射的结果,再解得核子空间.在标准人脸数据库上的实验表明该算法正确有效,并且识别性能优于普通的流形学习算法.     

???????????????????????

保持近邻投影是一种无监督线性降维方法,具有保持数据流形上局部近邻结构特性,但应用到分类任务时具有局限性,如忽略类标签的信息。该文提出一种新的人脸识别子空间学习方法——监督保持近邻投影,根据先验的类标签信息保持局部几何关系,能获得较好的近似人脸流形以及增强特征空间的判别力。在ORL人脸数据库上的实验表明该方法是有效的。     

基于监督保持近邻投影的人脸识别

保持近邻投影是一种无监督线性降维方法,具有保持数据流形上局部近邻结构特性,但应用到分类任务时具有局限性,如忽略类标签的信息。该文提出一种新的人脸识别子空间学习方法——监督保持近邻投影,根据先验的类标签信息保持局部几何关系,能获得较好的近似人脸流形以及增强特征空间的判别力。在ORL人脸数据库上的实验表明该方法是有效的。     

半监督的稀疏保持二维边界Fisher分析降维算法

针对样本集中类别标签样本不足的问题,提出一种半监督的稀疏保持二维边界fisher分析降维算法.首先利用图像像素间的空间结构信息,基于图像矩阵进行降维;然后设计类内散度矩阵和类间散度矩阵,以保持样本间的类内紧凑性和类间分离性;最后通过稀疏保持对特征间的稀疏重构性加以约束,所获得的稀疏重构权重保持了局部几何结构,而且也包含了自然鉴别信息.在YALE,ORL和AR人脸数据库上的实验结果表明,该算法具有很好的分类和识别性能.     

基于二维邻域保持判别嵌入的人脸识别

提出二维邻域保持判别嵌入(2DNPDE)算法,该算法是一种有监督的基于二维图像矩阵的特征提取算法.为表示样本的类内邻域结构和类间距离关系,分别构建类内邻接矩阵和类间相似度矩阵.2DNPDE所获得的投影空间不但使不同类数据点的低维嵌入相互分离,而且保留同类样本的邻域结构和不同类样本的距离关系.在ORL和AR人脸数据库上的实验表明,该算法具有更好的识别效果.     

基于张量的半监督判别分析算法

边界Fisher判别分析算法因采用一维向量表示而无法很好保持图像的空间几何结构,且无法利用大量未标记样本信息.为此,提出一种基于张量的半监督判别分析算法.采用二维张量表示人脸空间中的样本图像,揭示流形的内在几何结构,利用有判别信息的标记样本和大量未标记样本,使数据在投影空间的类间分离度最大,同时保证高维空间中不相邻的点在低维空间中也不相邻.在PIE和FERET人脸库上的实验结果表明,该算法能够获得较高的识别率.     

一种基于离散度平衡的降维算法

已有的监督维数约简算法大都通过最大化类间离散度总和等相关手段选取判别能力较强的子空间,使得原始空间中距离较小的一些类易被忽略而在子空间中出现不同类的融合现象.为此,提出一种基于离散度平衡的降维算法——离散度平衡投影.该算法利用对称相对熵来衡量样本间的离散度,将对称相对熵与离散度平衡的概念结合,使得算法在降维过程中保持较大类间离散度的同时更加注重较小的类间离散度,以实现类间散度平衡的目的;为了充分使用现实生活中大量无标签样本,通过保持所有样本间拉普拉斯图结构进一步提出了半监督离散度平衡投影.对Soybean,Isolet,COIL20等标准数据集进行维数约简的实验结果表明,文中算法具有较好的降维效果.     

稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

一种增量式类内局部保持降维算法

针对在线学习中的算法效率问题,提出了一种增量式类内局部保持降维算法.该算法综合考虑了基于QR分解的降维算法与保类内Fisher判别分析法的优点,根据训练过程中新增的样本进行投影矩阵在线更新,克服了传统的批量式训练方法在线学习时计算量过分冗余的缺陷.同时,通过兼顾输入样本的局部结构和全局分布状态,使得该算法能够有效地应用于多簇、重叠的数据形态.在ORL人脸库和COIL20图像库上的实验表明,该增量式算法不仅在降维效果上基本与批量式算法保持一致,而且具有较大的效率优势.     

原信息与映射信息组合的多核学习降维方法

对于一些降维算法来说,数据的流形结构会对其降维效果造成很大影响。针对已有的多核学习降维算法没有考虑到保持数据流形结构这一问题,在其基础上提出了一种新的多核学习降维方法。其实质是由于数据通过映射函数投影到高维空间,在这个过程中可能会造成数据流形结构的扭曲,为了保持原数据的流形结构,从原数据中选择全部或局部信息与映射空间信息进行组合,从而使得在高维投影空间中能够较好地保存原数据的流形结构,减小因数据在映射空间中产生扭曲而对降维结果造成的影响。原信息与特征信息组合的方法最终将表示为核之间的耦合,并可以通过原多核学习框架的优化方法进行优化得到其核权重系数。实验证明,通过使用新方法,使用少量的特征也能够达到不错的效果,同时在时间效率上较原多核学习框架的方法也有所提高。     

间距判别投影及其在表情识别中的应用

针对全局降维方法判别信息不足,局部降维方法对邻域关系的判定存在缺陷的问题,提出一种新的基于间距的降维方法——间距判别投影（MDP）。首先,根据类的中心均值的异类近邻关系定义描述类边缘的边界向量;在这个基础上,MDP重新定义类间离散度矩阵,同时,使用全局的方法构造类内离散度矩阵;然后,MDP借鉴判别分析思想建立衡量类间距的准则,并通过类间距最大化增强样本在投影空间中的可分性。对MDP在人脸表情数据库JAFFE和Extended Cohn-Kanade上进行表情识别实验,并且跟传统的降维方法主成分分析（PCA）、最大间距准则（MMC）和边界Fisher分析（MFA）进行对比,实验结果表明,所提算法能够有效提取更具区分性的低维特征,比其他几种方法分类精度更高。     

最小距离鉴别投影及其在人脸识别中的应用

针对人脸识别问题,提出了最小距离鉴别投影算法,其与经典的线性鉴别分析不同,它是一种流形学习降维算法。该算法首先定义样本的类内相似度与类间相似度:前者能够度量样本与类内中心的距离关系,后者不仅能够反映样本与类间中心的距离关系而且能够反映样本类间距与类内距的大小关系;然后将高维数据映射到低维特征空间,使得样本到类内中心距离最小同时到类间中心距离最大。最后,在ORL、FERET及AR人脸库上的实验结果表明所提算法识别性能要优于其他算法。     

Linear discriminant projection embedding based on patches alignment

Dimensionality reduction is often required as a preliminary stage in many data analysis applications. In this paper, we propose a novel supervised dimensionality reduction method, called linear discriminant projection embedding (LDPE), for pattern recognition. LDPE first chooses a set of overlapping patches which cover all data points using a minimum set cover algorithm with geodesic distance constraint. Then, principal component analysis (PCA) is applied on each patch to obtain the data's local representations. Finally, patches alignment technique combined with modified maximum margin criterion (MMC) is used to yield the discriminant global embedding. LDPE takes both label information and structure of manifold into account, thus it can maximize the dissimilarities between different classes and preserve data's intrinsic structures simultaneously. The efficiency of the proposed algorithm is demonstrated by extensive experiments using three standard face databases (ORL, YALE and CMU PIE). Experimental results show that LDPE outperforms other classical and state of art algorithms.     

边界流形嵌入在特征提取中的应用

样本点的边界信息对于分类具有重要意义。针对于边界Fisher分析（MFA）和局部敏感判别分析（LSDA）构造本征图和惩罚图所利用的样本点边界信息,在一些情况下并不能很好地表征不同类样本点的可分性,提出了一种新的图嵌入降维算法——边界流形嵌入（MME）。MME算法根据样本点的标签信息,寻找距离每个样本点最近的异类边界子流形,再返回本类中寻找距离异类边界子流形最近的同类边界子流形,从而定义出不同类样本间密切联系的同类边界邻域和异类边界邻域。通过最大化所有成对的边界子流形之间的距离,MME算法可以得到更具有鉴别意义的低维特征空间。同时,MME算法能将徘徊在边界的离群点收入到边界邻域里,这对减弱离群点给算法带来的负面的影响有一定的帮助。在人脸数据库上的实验结果表明了MME算法提取的低维特征能够提升分类的准确率。     

A novel maximum margin neighborhood preserving embedding for face recognition

This paper presents a novel supervised linear dimensionality reduction approach called maximum margin neighborhood preserving embedding (MMNPE). The central idea is to modify the neighborhood preserving embedding by maximizing the maximum margin distance while preserving the geometric structure of the manifold. Experimental results conducted on the ORL database, the Yale database and the VALID face database indicate the effectiveness of the proposed MMNPE.     

面向Web文档分类的张量最大间隔投影

为了有效地解决传统的基于向量表示的文档维数降维算法存在的维数灾难和奇异值问题,提出了基于张量最大间隔投影的Web文档分类算法,该算法能够在维数降维的过程中充分利用文档的结构和关联信息来提高算法的分类鉴别能力,在WebKB和20NG数据集上的实验结果表明该算法优于其他常用的的文档分类算法。     

Local Tangent Space Discriminant Analysis

We propose a novel supervised dimensionality reduction method named local tangent space discriminant analysis (TSD) which is capable of utilizing the geometrical information from tangent spaces. The proposed method aims to seek an embedding space where the local manifold structure of the data belonging to the same class is preserved as much as possible, and the marginal data points with different class labels are better separated. Moreover, TSD has an analytic form of the solution and can be naturally extended to non-linear dimensionality reduction through the kernel trick. Experimental results on multiple real-world data sets demonstrate the effectiveness of the proposed method.     

Discriminative low-rank preserving projection for dimensionality reduction

As an effective image clustering tool, low-rank representation (LRR) can capture the intrinsic representation of the observed samples. However, firstly, the good representation does not mean good classification performance. Secondly, no projection matrix is obtained in the training stage, and it cannot deal with the new samples. By incorporating the discriminant analysis and the local neighborhood relationship of the original samples into the low-rank representation, a novel discriminative low-rank preserving projection (DLRPP) algorithm is presented for dimensionality reduction. In DLRPP, the global structure information can be captured by LRR, and the local geometricinformation is simultaneously preserved by the manifold regularization term. The constrained term is induced by the adaptive graph, which is obtained by low-rank representation coefficients. In addition, by introducing discriminant analysis constraint term, DLRPP can learn an optimal projection matrix for data dimensionality reduction. The numerous experiments on six public image datasets prove that the proposed DLRPP can obtain better recognition accuracy compared with the state-of-the-art feature extraction methods.     

Dimensionality reduction-based spoken emotion recognition

To improve effectively the performance on spoken emotion recognition, it is needed to perform nonlinear dimensionality reduction for speech data lying on a nonlinear manifold embedded in a high-dimensional acoustic space. In this paper, a new supervised manifold learning algorithm for nonlinear dimensionality reduction, called modified supervised locally linear embedding algorithm (MSLLE) is proposed for spoken emotion recognition. MSLLE aims at enlarging the interclass distance while shrinking the intraclass distance in an effort to promote the discriminating power and generalization ability of low-dimensional embedded data representations. To compare the performance of MSLLE, not only three unsupervised dimensionality reduction methods, i.e., principal component analysis (PCA), locally linear embedding (LLE) and isometric mapping (Isomap), but also five supervised dimensionality reduction methods, i.e., linear discriminant analysis (LDA), supervised locally linear embedding (SLLE), local Fisher discriminant analysis (LFDA), neighborhood component analysis (NCA) and maximally collapsing metric learning (MCML), are used to perform dimensionality reduction on spoken emotion recognition tasks. Experimental results on two emotional speech databases, i.e. the spontaneous Chinese database and the acted Berlin database, confirm the validity and promising performance of the proposed method.