基于核融合的多信息流形学习算法*

流形学习算法可分为全局流形学习与局部流形学习,它们分别保持了流形上的全局特征信息与局部特征信息。但是实验证明仅基于单一特征信息的流形学习算法不能很好的保持真实的流形结构,影响了学习效果。因此,基于流形学习的核的视角,将全局流形学习算法ISOMAP与局部流形学习算法LTSA的核进行融合,提出了可以同时保持流形结构的全局特征信息与局部特征信息的流形学习算法,在人工数据集和人脸图像集上的仿真实验证明了本文算法的有效性。     

一种改进的有间隔流形ISOMAP算法

ISOMAP算法成功应用的潜在条件是要求数据集均匀抽样于单个的内在流形。如果数据集均匀采样于某个内在流形,但内部出现了一个间隔,ISOMAP算法可能失效。提出了G-ISOMAP(ISOMAP with a Gap)算法,该算法充分利用了数据集中的间隔特性。首先检测被间隔的子流形间最短欧氏距离对应的数据点,然后将这些数据点互相设置为邻域点,最后用ISOMAP算法找到低维嵌入结果。对G-ISOMAP与ISOMAP算法的区别与联系进行了详细的理论说明,得出ISOMAP算法是G-ISOMAP算法的一个特例,G-ISOMAP算法是ISOMAP算法扩充的结论。实验结果验证了该算法比其他常用的流形学习算法在有间隔的数据集上更有效。     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于分块聚类的多流形判别分析人脸识别

针对传统的人脸识别算法在处理单样本人脸识别时由于训练样本不足而影响识别率的问题,提出了一种基于分块聚类的多流形判别分析(MMDA)算法.将每个单训练样本划分成若干大小相等且互不重叠的局部小块,利用聚类算法将局部小块聚类到各个类所属的流形上,并使用特征变换最大化类与类之间的分离性;最后,计算出测试人脸的流形与所有训练样本流形之间的距离,采用最近邻分类器完成人脸的识别.在ORL及FERET两大人脸数据库上的实验验证了算法的有效性及可靠性,识别率可分别高达77.22％、57.59％,实验结果表明,相比几种较为先进的人脸识别算法,该算法在处理单训练样本人脸识别问题时取得了更好的识别效果.     

面向相交多流形聚类的标签传播算法

经典的流形学习算法假设样本数据位于高维单流形上,但在现实生活中的真实数据通常位于高维多流形上,且这些数据往往相互交叠,导致流形学习算法效果不佳。传统的标签传播算法通过相似性矩阵构建连接矩阵,实现良好分离数据的聚类,但不能有效聚类相互交叠的多流形数据。针对该问题,提出一种面向相交多流形的标签传播算法LPAMMC。采用局部主成分分析算法确定相交多流形数据的相交区域,并基于混合概率主成分分析(MPPCA)模型和多流形的拓扑结构划分相互交叠的子流形,构建“must-link”和“cannot-link”聚类约束,通过约束构建适合相交多流形数据的传播矩阵,实现标签传播算法。LPAMMC算法通过MPPCA模型和多流形拓扑结构划分出子流形,提高相交多流形数据的聚类精度,且MPPCA模型仅用于多流形数据的相交区域,降低了计算复杂度。实验结果表明,LPAMMC算法不仅具有标签传播算法速度快的特点,且能有效聚类相交多流形数据。在Two spirals数据集上的聚类精度、标准互信息和调整兰德系数取得了与SMMC算法相同的性能,运行时间缩短86.7个百分点。     

用于多流形分类的核等距映射算法

核等距映射(Kernel ISOMAP)算法具有较好的泛化性能,但不能直接用于多流形的分类。在多流形下,准确判定新数据点所在的流形是其获得良好泛化性能的基础,因此,提出了能够用于多流形分类的核等距映射算法。该算法根据同一流形上邻近局部切空间的相似性能够准确判定新数据点所在的流形,并对目前核等距映射算法中新数据点低维表示的计算过程进行了简化,从而具有良好的泛化性能。实验结果证实,该算法具有较高的分类准确率。     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

一种改进的多流形判别分析方法在特征提取中的应用

传统的多流形判别分析(MMDA)方法要求每类样本数目必须相同,这在实际中往往很难满足,因此限制了它的应用。针对此问题,提出一种改进的多流形判别分析(IMMDA)方法。该方法去除了MMDA中的限制条件,用类内图和类间图来描述类内紧凑度和类间离散度,类内图可以代表子流形信息,类间图可以代表多流形信息,从而更好地实现分类。在FERET、ORL人脸库及UCI数据集上的实验证明了该方法的有效性。相比其他几种子空间学习方法,该方法取得了更好的识别效果。     

基于局部邻域多流形度量的人脸识别

针对人脸识别中特征的提取,提出了一种基于局部邻域多流形度量的人脸识别方法。针对人脸识别的小样本问题,用特征脸对人脸图像预处理。对预处理后的人脸数据集中每个流形内的数据点采用欧氏距离来选择各数据点的近邻点,由此得到局部权重矩阵,并计算重构数据点与原始数据点之间的误差距离;同时,采用图像集建模流形,用affine hull表示流形对应的数据集信息,计算多流形间的距离度量矩阵。通过最大化流形间距离以及最小化数据点与重构数据点误差距离来寻找投影降维矩阵。在人脸数据集上的大量比较实验,验证了该方法的准确性和有效性。     

面向课堂环境的多人脸检测

针对目前课堂环境下的多人脸检测研究不够深入,特别在拍摄角度变化等多个因素影响下人脸识别率较低的问题,提出了真实课堂环境下基于全卷积头部检测器(FCHD)人脸检测的改进算法.首先,针对课堂环境下多人脸数据集的不足构建了两类课堂数据集,通过10人以下、11～20人、21～30人、31～40人以及41人以上不同的数据进行分析;然后,对比评估了传统的人脸检测算法以及基于深度学习的算法;最后,提出基于FCHD算法进行锚点设计的改进,针对课堂多人脸数据集的特点,通过不同锚点的设计以及神经网络的微调提升多人脸检测的准确率.实验结果表明,所提算法对于10人以下的人脸检测平均准确率能达到90％,能够较好地解决多人脸识别领域中存在的人脸偏移、遮挡、角度等问题.     

HOG和多流形判别分析相融合的人脸识别

为了提高人脸的识别率,提出一种方向梯度直方图和多流形判别分析相融合的人脸识别算法。将一幅图像划分为多个子块图像块,并采用方向梯度直方图算法对每一个小块进行处理;采用多流形判别分析提取特征,并采用最小二乘支持向量机建立分类器对人脸进行分类和识别;在Yale和AR人脸库进行仿真实验。实验结果表明,相对于传统人脸别算法,该算法不仅提高了人脸识别率和识别速度,并且对光照和姿态变化具有较强的鲁棒性。     

A Fast Feature-based Dimension Reduction Algorithm for Kernel Classifiers

This paper presents a novel dimension reduction algorithm for kernel based classification. In the feature space, the proposed algorithm maximizes the ratio of the squared between-class distance and the sum of the within-class variances of the training samples for a given reduced dimension. This algorithm has lower complexity than the recently reported kernel dimension reduction (KDR) for supervised learning. We conducted several simulations with large training datasets, which demonstrate that the proposed algorithm has similar performance or is marginally better compared with KDR whilst having the advantage of computational efficiency. Further, we applied the proposed dimension reduction algorithm to face recognition in which the number of training samples is very small. This proposed face recognition approach based on the new algorithm outperforms the eigenface approach based on the principal component analysis (PCA), when the training data is complete, that is, representative of the whole dataset.     

基于核稀疏表示的多流形判别分析

针对单样本人脸识别中非线性可分性的问题,提出了一种基于核稀疏表示的多流形判别分析（KSRMMDA）算法。首先,对数据图像进行分块,构建多流形模型;其次,运用核稀疏表示方法刻画各流形数据点之间的关系,学习流形内部图和流形间图;再次,在每个流形空间中分别寻找最佳的投影来保持流形内部图的特征,同时抑制流形外部图的特征;最后,通过计算测试样本流形到训练样本流形的距离进行分类识别。在extended Yale B和CMU PIE数据集上的实验研究表明,与其他同类算法相比,所提算法对光照、遮挡变化具有更强的鲁棒性。     

基于支持向量机的人脸识别方法

1.引言人脸是人类视觉中的常见模式,人脸识别在安全验证系统、公安(犯罪识别等)、医学、视频会议、交通量控制等方面有着广阔的应用前景。现有的基于生物特征的识别技术,包括语音识别、虹膜识别、指纹识别等,都已用于商业应用。然而最吸引人的还是人脸识别,因为从人机交互的方式来看,人脸识别更符合人们的理想。虽然人能毫不费力地识别出人脸及其表情,但人脸的机器自动识别仍然是一个具挑战性的研究领域。由于人脸结构的复杂性以及人脸表情的多样性、成像过     

基于小波分解和多分类支持向量机的脸谱识别

小波分解提取脸谱特征具有对表情变化不敏感的特点,支持向量机竹=为分类器具有很高的推广性能,无需先验知识,针对小波分解和支持向量机所具有的优点,提出了一种新的脸谱识别算法,在该算法中无需对洲练图像进行预处理,直接使用小波分解方法对脸谱图像进行特征提取,用所提取的脸谱特征向量组合成新的脸谱特征向链洲练多分类支持向量机模型,最后用训练好的支持向量机进行脸谱识别,在训练中分别采用了三种不同的核函数;使用ORL脸谱图像库对该算法进行了测试和评估,测试结果表明了该算法在识别性能方面的优越性。     

Support vector machines for face recognition

Support vector machines (SVMs) have been recently proposed as a new learning network for bipartite pattern recognition. In this paper, SVMs incorporated with a binary tree recognition strategy are proposed to tackle the multi-class face recognition problem. The binary tree extends naturally, the pairwise discrimination capability of the SVMs to the multi-class scenario. Two face databases are used to evaluate the proposed method. The performance of the SVMs based face recognition is compared with the standard eigenface approach, and also the more recently proposed algorithm called the nearest feature line (NFL).     

Locality preserving embedding for face and handwriting digital recognition

Most supervised manifold learning-based methods preserve the original neighbor relationships to pursue the discriminating power. Thus, structure information of the data distributions might be neglected and destroyed in low-dimensional space in a certain sense. In this paper, a novel supervised method, called locality preserving embedding (LPE), is proposed to feature extraction and dimensionality reduction. LPE can give a low-dimensional embedding for discriminative multi-class sub-manifolds and preserves principal structure information of the local sub-manifolds. In LPE framework, supervised and unsupervised ideas are combined together to learn the optimal discriminant projections. On the one hand, the class information is taken into account to characterize the compactness of local sub-manifolds and the separability of different sub-manifolds. On the other hand, at the same time, all the samples in the local neighborhood are used to characterize the original data distributions and preserve the structure in low-dimensional subspace. The most significant difference from existing methods is that LPE takes the distribution directions of local neighbor data into account and preserves them in low-dimensional subspace instead of only preserving the each local sub-manifold’s original neighbor relationships. Therefore, LPE optimally preserves both the local sub-manifold’s original neighborhood relationships and the distribution direction of local neighbor data to separate different sub-manifolds as far as possible. The criterion, similar to the classical Fisher criterion, is a Rayleigh quotient in form, and the optimal linear projections are obtained by solving a generalized Eigen equation. Furthermore, the framework can be directly used in semi-supervised learning, and the semi-supervised LPE and semi-supervised kernel LPE are given. The proposed LPE is applied to face recognition (on the ORL and Yale face databases) and handwriting digital recognition (on the USPS database). The experimental results show that LPE consistently outperforms classical linear methods, e.g., principal component analysis and linear discriminant analysis, and the recent manifold learning-based methods, e.g., marginal Fisher analysis and constrained maximum variance mapping.     

有监督的无参数核局部保持投影及人脸识别

针对发掘人脸图像中的高维非线性结构,将加核及构造无参数近邻图两种思想同时引入到局部保持投影算法中,在有监督的模式下,提出了一种新的有监督的无参数核局部保持投影(Parameter-less Supervised Kernel Locality Preserving Projection,PSKLPP)算法并给出了其推导过程。该算法通过将欧氏距离改为对离群数据更为鲁棒的余弦距离,构造无参数近邻图,利用核方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间,运用局部保持投影算法得到一线性映射,有效避免了在计算相似矩阵过程中面临的复杂参数选择问题。在ORL和Yale人脸库上的仿真实验验证了所提算法的有效性。