一种谱分解降维的模糊有监督局部保持投影策略

提出一种谱分解降维的模糊有监督局部保持投影策略。首先针对监督局部保持投影SLPP存在过学习和不能较好地保持图像空间的差异信息等问题,通过最小化局部离散度和最大化差异离散度准则提取投影方向,找到一种线性鉴别分析的等价形式。其次,通过采用模糊k近邻(FKNN)方法得到相应的样本分布隶属度信息,同时考虑到离群样本对整个分类结果的不利影响,提出一种模糊化方法,根据样本的隶属度对样本分布矩阵重定义所做的贡献,将每个样本的隶属度融入到SLPP特征抽取的过程中,从而得到完整有效的模糊样本特征向量集,有效解决了小样本问题的特征抽取问题。第三,提出一种谱分解的矩阵分析方法,在SLPP投影准则下,对散布矩阵实现降维。在ORL和NUST603人脸库上的实验结果验证了该方法的有效性。     

局部保留最大信息差υ-支持向量机

针对现有模式分类方法不能较好地保持数据空间的局部流形信息或差异信息等问题,提出一种基于流形学习的局部保留最大信息差υ-支持向量机(Locality-preserved maximum information variance υ-support vector machine,υ-LPMIVSVM).对于模式分类问题,v-LPMIVSVM引入局部同类离散度和局部异类离散度概念,分别体现输入空间局部流形结构和局部差异(或判别)信息,通过最小化局部同类离散度和最大化局部异类离散度,优化分类器的投影方向.同时,υ-LPMIVSVM采用适于流形数据的测地线距离来度量数据点对间的相似性,以更好地反映流形数据的本质结构.人造和实际数据集实验结果显示所提方法具有良好的泛化性能.     

无监督的差分鉴别特征提取以及在人脸识别上的应用

局部保持投影(LPP)只考虑了投影后的局部性,而忽视了非局部性.针对这个问题,引入非局部散布矩阵,提出无监督的差分鉴别特征提取算法,通过最大化非局部和局部之间的散度差来寻找最优变换矩阵,并将其成功地应用于人脸识别.该算法同时引入非局部和局部的信息,揭示隐含在高维图像空间中的非线性结构;采用差分的形式求解最优变换矩阵,以避免"小样本"问题;对LPP中的邻接矩阵进行了修正,以更准确地描述样本之间的邻近关系.在Yale和AR标准人脸库上的实验结果验证了文中算法的有效性.     

应用于特征提取方法的模糊差分嵌入投影

局部线性嵌入(Locally linear embedding, LLE)算法对于分类的结果没有直接的关系。同时,该算法受不同表情、光照以及姿态等因素的影响,识别的效果会大大降低。为了能够很好地解决上 述问题,提出基于模糊的差分嵌入投影(Fuzzy difference embedding projection, FDEP)特征提取算法。FDEP算法首先在模糊数学的思想指导下,通过模糊隶属度（Fuzzy sets）的形式表示;然后分别构造模糊局部近邻图与模糊全局方差图来表征局部与全局结构信息,采用最大间距准则函数来构造目标函数避免“小样本”问题;最后,通过拉格朗日乘子解决约束条件下的优化问题。FDEP算法既可以最大化地模糊全局数据之间的非局部散度,又可以保持模糊近邻数据之间的内在联系。在ORL,Yale和AR人脸图像库的实验结果表明,FDEP算法具有较好的识别性能。     

有监督的无参数核局部保持投影及人脸识别

针对发掘人脸图像中的高维非线性结构,将加核及构造无参数近邻图两种思想同时引入到局部保持投影算法中,在有监督的模式下,提出了一种新的有监督的无参数核局部保持投影(Parameter-less Supervised Kernel Locality Preserving Projection,PSKLPP)算法并给出了其推导过程。该算法通过将欧氏距离改为对离群数据更为鲁棒的余弦距离,构造无参数近邻图,利用核方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间,运用局部保持投影算法得到一线性映射,有效避免了在计算相似矩阵过程中面临的复杂参数选择问题。在ORL和Yale人脸库上的仿真实验验证了所提算法的有效性。     

张量图像上的正交张量监督近邻保持嵌入

正交张量近邻保持嵌入是一种有效的张量图像的降维工具,但仍存在监督判别信息不足的问题.为此提出正交张量监督近邻保持嵌入OTSNPE(OrthogonalTensorSupervisedNeighborhoodPreservingEmbedding)降维算法.该算法首先将二维图像看成二阶张量空间的点;然后在同类样本中选择近邻并进行线性重构;最后通过特征保持提取投影方向.投影后的特征既能有效地保持张量图像像点之间的空间关系,又能较好地保持蕴含在张量图像之间的类内局部重构关系和近邻关系.在AR和YaleB人脸数据集上的实验验证了该算法的有效性.     

局部样条嵌入的正交半监督子空间学习算法

为了更加准确地对图像进行聚类与分类,提出一种基于局部样条嵌入的正交半监督子空间学习算法.通过学习一个正交投影矩阵,使得训练样本中的标注数据经过投影矩阵降维后类间离散度尽量大,类内离散度尽量小;采用局部样条回归将局部低维嵌入坐标映射成全局低维嵌入坐标,使得被投影数据保持原有流形结构,并有效地利用有标注训练样本和未标注训练样本得到优化的图像表达方式.图像聚类与分类实验的结果表明了文中算法的有效性.     

基于对抗投影学习的跨模态哈希检索

跨模态哈希检索以其较高的检索效率和较低的存储成本,在跨模态检索领域受到了广泛的关注.现有的跨模态哈希大多直接从多模态数据中学习哈希码,不能充分利用数据的语义信息,因此无法保证数据低维特征在模态间的分布一致性,解决这个问题的关键之一是要准确地度量多模态数据之间的相似度.为此,提出一种基于对抗投影学习的哈希(adversarial projection learning based Hashing for cross-modal retrieval,APLH)方法用于跨模态检索.利用对抗训练学习来自不同模态的低维特征,并保证低维特征在模态间的分布一致性.在此基础上,利用跨模态投影匹配约束(cross-modal projection matching,CMPM),最小化特征投影匹配分布和标签投影匹配分布之间的KL(Kullback-Leibler)散度,利用标签信息使数据低维特征之间的相似度结构与语义空间中的相似度结构趋于一致.此外,在哈希码学习阶段,引入加权余弦三元组损失进一步利用数据的语义信息;且为减小哈希码的量化损失,使用离散优化的方法优化哈希函数.在3个跨模态数据集MIRFlickr25K,NUS-WIDE,Wikipedia上,以不同码位计算mAP,且所提方法的mAP值均优于其他算法,验证了其在跨模态哈希检索上的优越性、鲁棒性以及CMPM的有效性.     

基于保持投影的最大散度差的特征抽取方法

对非监督鉴别投影(UDP)准则进行修正,并在修正的准则基础上提出基于保持投影的最大散度差的特征抽取方法.该方法利用非局部散度与局部散度之差作为鉴别准则,从而避免UDP线性鉴别分析中所遇到的小样本问题引起的局部散度矩阵奇异的问题.在标准人脸数据库Yale和FERET上进行实验,实验结果表明本文方法的有效性.     

多流形的非监督线性差分投影算法

针对非监督线性差分投影(unsupervised linear differential projection,ULDP)在特征提取过程中存在的不足,提出了基于多流形的非监督线性差分投影(multi-manifold unsupervised linear differential projection,MULDP)算法,并将其应用于人脸识别中。MULDP首先构造出多流形局部近邻图和多流形最大全局方差,然后通过多目标最优化问题求解出嵌入在高维空间的低维流形。这种映射不仅能表示全局结构,还能表示局部结构。该算法可以得到嵌入在高维空间的低维流形,更好地实现了局部与全局结构信息的有效保持。在ORL、Yale及AR人脸库上的实验结果验证了所提算法的优越性。     

Two-dimensional supervised local similarity and diversity projection

This paper presents a novel manifold learning method, namely two-dimensional supervised local similarity and diversity projection (2DSLSDP), for feature extraction. The proposed method defines two weighted adjacency graphs, namely similarity graph and diversity graph. The affinity matrix of similarity graph is determined by the spatial relationship between vertices of this graph, while affinity matrix of diversity graph is determined by the diversity information of vertices of its graph. Using these two graphs, the proposed method constructs local similarity scatter and diversity scatter, respectively. A concise feature extraction criterion is then raised via minimizing the ratio of the local similarity scatter to local diversity scatter. Thus, 2DSLSDP can well preserve not only the adjacency similarity structure, but also the diversity of data points, which is important for the classification. Experiments on the AR and UMIST databases show the effectiveness of the proposed method.     

有局部保持的最大间距准则特征提取方法

最大间距准则(MMC)的目的是在克服小样本问题的同时,寻求一组最佳鉴别矢量使得投影变化后的特征空间的类问散度最大,而且类内散度最小.文中所提出的特征提取方法与原来MMC相比,经过对原来的散度加乘权重,以及通过对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构.在ORL人脸库、YALE标准人脸库和UMIST人脸库上的实验结果表明,该方法能够对光照和姿态变化具有一定的鲁棒性,能更为有效地识别人脸图像,提高识别率.     

最大局部信息差支持向量机

针对传统支持向量机不能较好地利用数据空间局部信息的问题,提出一种基于局部学习的支持向量机.通过同时最小化局部内散度和最大化局部间散度信息来寻求一个最优的分类决策函数.为了更好地反映数据的局部几何特征,该方法采用适于局部学习的测地线距离来度量数据点对间的相似性.另外,通过引入一个能同时控制间隔误差上界和支持向量下界的参数μ,进一步提升学习泛化能力.人造和实际数据集实验验证了所提出方法的有效性.     

Kernel class-wise locality preserving projection

In the recent years, the pattern recognition community paid more attention to a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel local structure based feature extraction method, called class-wise locality preserving projection (CLPP). CLPP utilizes class information to guide the procedure of feature extraction. In CLPP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The kernelized (nonlinear) counterpart of this linear feature extractor is also established in the paper. Moreover, a kernel version of CLPP namely Kernel CLPP (KCLPP) is developed through applying the kernel trick to CLPP to increase its performance on nonlinear feature extraction. Experiments on ORL face database and YALE face database are performed to test and evaluate the proposed algorithm.     

基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis, KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel locality preserving projection, KLPP)的思想融入核主成分分析的目标函数中, 使样本投影后的特征空间不仅保持原始样本空间的整体结构, 还保持样本空间相似的局部近邻结构, 包含更丰富的特征信息.上述方法通过同时进行的正交化处理可避免局部子空间结构发生失真, 并能够直观显示出低维结果, 将低维数据输入最近邻分类器, 以识别率和聚类分析结果作为衡量指标, 同时将所提方法应用于故障诊断中.使用AVL Boost软件模拟的柴油机故障数据和田纳西(Tennessee Eastman, TE)化工数据仿真, 验证了所提方法的有效性.     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于流形学习和稀疏约束的快速特征提取算法

针对稀疏保持投影算法在特征提取过程中无监督和L1范数优化的计算量较大的问题,提出一种基于流形学习和稀疏约束的快速特征提取算法。首先通过逐类PCA构造级联字典,并基于该字典通过最小二乘法快速学习稀疏保持结构;其次构造用于描述不同子流形距离的局部类间散度函数;然后整合所学习到的稀疏表示信息和局部类间散度信息以达到既考虑判别效率又保持稀疏表示结构的目的;所提算法最终转化为一个求解广义特征值问题。在公共人脸数据库(Yale,ORL和Extended Yale B)中 的 测试结果验证了该方法的可行性和有效性。