融合局部结构和差异信息的监督特征提取算法

针对监督局部保持投影(Supervised locality preserving projection, SLPP)存在过学习和不能较好地保持图像空间的差异信息等问题,造成算法性能不够好, 提出了一种新的基于流形学习的监督特征提取方法(Supervised local structure and diversity projection, S-LSDP). S-LSDP从信息统计量角度引入差异信息,并给出度量差异信息大小的准则(差异离散度) 及明确的物理含义;然后通过最小化局部离散度和最大化差异离散度准则提取投影方向. 投影后的特征既能有效地保持图像之间的局部结构属性,又能较好地保持图像之间的差异信息, 而且避免了过学习问题.在UMIST, Yale, PIE和AR数据库上的实验结果表明了该算法的有效性.     

基于成对约束半监督降维的高光谱遥感影像特征提取

半监督降维(Semi\|Supervised Dimensionality Reduction,SSDR)框架下,基于成对约束提出一种半监督降维算法SCSSDR。利用成对样本进行构图,在保持局部结构的同时顾及数据的全局结构。通过最优化目标函数,使得同类样本更加紧凑\,异类样本更加离散。采用UCI数据集对算法进行定量分析,发现该方法优于PCA及传统流形学习算法,进一步的UCI数据集和高光谱数据集分类实验表明:该方法适合于进行分类目的特征提取。     

局部样条嵌入的正交半监督子空间学习算法

为了更加准确地对图像进行聚类与分类,提出一种基于局部样条嵌入的正交半监督子空间学习算法.通过学习一个正交投影矩阵,使得训练样本中的标注数据经过投影矩阵降维后类间离散度尽量大,类内离散度尽量小;采用局部样条回归将局部低维嵌入坐标映射成全局低维嵌入坐标,使得被投影数据保持原有流形结构,并有效地利用有标注训练样本和未标注训练样本得到优化的图像表达方式.图像聚类与分类实验的结果表明了文中算法的有效性.     

基于局部线性嵌入的最大散度矩阵算法

提出一种基于局部线性嵌入的最大散度矩阵算法——FSLLE。引入线性映射解决局部线性嵌入算法的样本外学习问题,通过自适应动态地确定局部线性空间邻域参数,最大化地融合样本数据的类别信息和局部结构信息矩阵,以获取髙维数据的最佳分类低维子空间。在JAFFE人脸表情库对该算法进行测试,结果表明,FSLLE算法能根据流形结构动态地确定局部邻域的大小,具有较好的表情识别率。     

子模式局部保持映射人脸识别

研究表明基于整体思想的人脸识别方法由于忽略图像的局部信息,在识别性能方面不如局部信息特征保持较好的基于子模块思想的识别算法。基于应用流形技术对图像降维后能够较好保持非线性子流形中的局部数据流形结构,提出了一种改进的子模式局部保持映射人脸识别算法。其主要思想是将同类的不同图像一并划分子集,由同位置子图组成子模块,并对子模块运用LPP算法学习其流形结构,与将不同类图像一并划分子集学习流形的方法不同。实验表明,该算法能更好地保持人脸图像的局部流形结构和信息特征,提高了识别率。     

基于自适应邻域选择的局部判别投影算法

在多模数据分类中,使用局部Fisher判别分析和边界Fisher分析方法构建邻域不能充分反映流形学习对邻域的要求.为此,提出一种基于自适应邻域选择的局部判别投影算法.采用自适应方法扩大或者缩小近邻系数k,以构建邻域,从而保持局部线性结构,揭示流形的内在几何结构,利用局部化方法使得投影空间中同类近邻样本尽量紧凑、异类近邻样本尽量分开.在ORL和YALE入脸数据库中进行实验,结果表明,在不同训练样本个数下,该算法均能获得较高的识别率.     

基于流形距离的半监督判别分析

大量无类别标签的数据具有对分类有用的信息,有效地利用这些信息来提高分类精确度,是半监督分类研究的主要内容.提出了一种基于流形距离的半监督判别分析(semi-supervised discriminant analysis based on manifold distance,简称SSDA)算法,通过定义的流形距离,能够选择位于流形上的数据点的同类近邻点、异类近邻点以及全局近邻点,并依据流形距离定义数据点与其各近邻点之间的相似度,利用这种相似度度量构造算法的目标函数.通过在ORL,YALE人脸数据库上的实验表明,与现有算法相比,数据集通过该算法降维后,能够使基于距离的识别算法具有更高的分类精确度.同时,为了解决非线性降维问题,提出了Kernel SSDA,同样通过实验验证了算法的有效性.     

一种改进的多流形判别分析方法在特征提取中的应用

传统的多流形判别分析(MMDA)方法要求每类样本数目必须相同,这在实际中往往很难满足,因此限制了它的应用。针对此问题,提出一种改进的多流形判别分析(IMMDA)方法。该方法去除了MMDA中的限制条件,用类内图和类间图来描述类内紧凑度和类间离散度,类内图可以代表子流形信息,类间图可以代表多流形信息,从而更好地实现分类。在FERET、ORL人脸库及UCI数据集上的实验证明了该方法的有效性。相比其他几种子空间学习方法,该方法取得了更好的识别效果。     

基于特征子空间邻域的局部保持流形学习算法*

局部保持流形学习算法通过保持局部邻域特性来挖掘隐藏在高维数据中的内在流形结构。然而,对于缺乏足够训练样本的高维数据集,或者高维数据集存在非线性结构和高维数据特征中存在冗余、干扰特征,使得在原特征空间中利用欧式距离定义的邻域关系并不能真实反映数据的内在流形结构,从而影响算法的性能。提出利用正约束寻找特征子空间的方法,使得在此子空间中更多的同类样本紧聚,并进一步在该子空间中构建邻域关系来挖掘高维数据的内在流形,形成基于特征子空间邻域特性的局部保持流形学习算法(NFS-LPP和NFS-NPE)。它们在一定程度上克服了高维小样本数据集难以正确挖掘内在流形结构的问题,在Yale和ORL人脸库上的分类和聚类实验验证了其有效性。     

基于LDP特征和贝叶斯模型的人脸识别

针对现有的局部方向模式LDP(Local Directional Pattern)方法仅利用了图像自身的LDP特征的问题,提出将LDP特征直方图与贝叶斯(Bayes)模型相结合的方法,从而有效使用人脸图像的先验信息,以提高人脸的识别率。第一步,在相互独立的训练集上,学习同类样本图像和异类样本图像的LDP直方图特征相似度的先验信息,并估计类条件概率密度函数(同类样本与异类样本分别进行计算);第二步,利用人脸图像的LDP直方图来比较该图像是否为某一类型图像的概率数值大小;第三步,使用贝叶斯规则进行分类。仿真结果证明,在ORL库与Yale库上,与传统PCA,LBP和LDP算法相比,所提方法得到的人脸识别率均有显著提升。     

最大局部信息差支持向量机

针对传统支持向量机不能较好地利用数据空间局部信息的问题,提出一种基于局部学习的支持向量机.通过同时最小化局部内散度和最大化局部间散度信息来寻求一个最优的分类决策函数.为了更好地反映数据的局部几何特征,该方法采用适于局部学习的测地线距离来度量数据点对间的相似性.另外,通过引入一个能同时控制间隔误差上界和支持向量下界的参数μ,进一步提升学习泛化能力.人造和实际数据集实验验证了所提出方法的有效性.     

间距判别投影及其在表情识别中的应用

针对全局降维方法判别信息不足,局部降维方法对邻域关系的判定存在缺陷的问题,提出一种新的基于间距的降维方法——间距判别投影（MDP）。首先,根据类的中心均值的异类近邻关系定义描述类边缘的边界向量;在这个基础上,MDP重新定义类间离散度矩阵,同时,使用全局的方法构造类内离散度矩阵;然后,MDP借鉴判别分析思想建立衡量类间距的准则,并通过类间距最大化增强样本在投影空间中的可分性。对MDP在人脸表情数据库JAFFE和Extended Cohn-Kanade上进行表情识别实验,并且跟传统的降维方法主成分分析（PCA）、最大间距准则（MMC）和边界Fisher分析（MFA）进行对比,实验结果表明,所提算法能够有效提取更具区分性的低维特征,比其他几种方法分类精度更高。     

基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。     

基于局部测地距离的TMFA的人脸识别

人脸嵌入在高维观测空间中的低维流形上,为了更精确地描述人脸空间的细微结构,提出了一种基于局部测地距离的张量边界Fisher分析的人脸识别方法。采用二维张量表示人脸空间中的样本图像和局部测地距离来计算样本近邻点。该方法更好地揭示了流形内在的几何结构,能够更精确地选择位于流形上数据点的同类和异类近邻点,同时避免小样本问题。在PIE和FERET人脸数据库上的实验表明,用该方法能够获得更高的识别率,验证了其改进的有效性。     

利用标准化LDA进行人脸识别

线性判别分析（LDA）是一种较为普遍的用于特征提取的线性分类方法。提出一种基于LDA的人脸识别方法－－标准化LDA，该方法克服了传统LDA方法的缺点，重新定义了样本类间离散度矩阵，在原始定义的基础上增加一个由类间距离决定的可变权函数，使得在选择投地，能够更好地分开各个类的样本；同时，它采用一种合理而有效的方法解决矩阵奇异的问题，即保留样本类内离散度矩阵的零空间，因为这个空间包含了最具有判别能力的信息。在这个零空间里，寻找对应于样本类间离散度矩阵的较大特征值的特征向量作为最后降维的转换矩阵。实验结果显示，在人脸识别中，与传统LDA相比，该方法有更好的识别率。标准化LDA也可以用于其他图像识别问题。     

边界流形嵌入在特征提取中的应用

样本点的边界信息对于分类具有重要意义。针对于边界Fisher分析（MFA）和局部敏感判别分析（LSDA）构造本征图和惩罚图所利用的样本点边界信息,在一些情况下并不能很好地表征不同类样本点的可分性,提出了一种新的图嵌入降维算法——边界流形嵌入（MME）。MME算法根据样本点的标签信息,寻找距离每个样本点最近的异类边界子流形,再返回本类中寻找距离异类边界子流形最近的同类边界子流形,从而定义出不同类样本间密切联系的同类边界邻域和异类边界邻域。通过最大化所有成对的边界子流形之间的距离,MME算法可以得到更具有鉴别意义的低维特征空间。同时,MME算法能将徘徊在边界的离群点收入到边界邻域里,这对减弱离群点给算法带来的负面的影响有一定的帮助。在人脸数据库上的实验结果表明了MME算法提取的低维特征能够提升分类的准确率。     

Two-dimensional supervised local similarity and diversity projection

This paper presents a novel manifold learning method, namely two-dimensional supervised local similarity and diversity projection (2DSLSDP), for feature extraction. The proposed method defines two weighted adjacency graphs, namely similarity graph and diversity graph. The affinity matrix of similarity graph is determined by the spatial relationship between vertices of this graph, while affinity matrix of diversity graph is determined by the diversity information of vertices of its graph. Using these two graphs, the proposed method constructs local similarity scatter and diversity scatter, respectively. A concise feature extraction criterion is then raised via minimizing the ratio of the local similarity scatter to local diversity scatter. Thus, 2DSLSDP can well preserve not only the adjacency similarity structure, but also the diversity of data points, which is important for the classification. Experiments on the AR and UMIST databases show the effectiveness of the proposed method.     

混杂数据的多核几何平均度量学习

在机器学习和模式识别任务中,选择一种合适的距离度量方法是至关重要的.度量学习主要利用判别性信息学习一个马氏距离或相似性度量.然而,大多数现有的度量学习方法都是针对数值型数据的,对于一些有结构的数据（比如符号型数据）,用传统的距离度量来度量两个对象之间的相似性是不合理的;其次,大多数度量学习方法会受到维度的困扰,高维度使得训练时间长,模型的可扩展性差.提出了一种基于几何平均的混杂数据度量学习方法.采用不同的核函数将数值型数据和符号型数据分别映射到可再生核希尔伯特空间,从而避免了特征的高维度带来的负面影响.同时,提出了一个基于几何平均的多核度量学习模型,将混杂数据的度量学习问题转化为求黎曼流形上两个点的中心点问题.在UCI数据集上的实验结果表明,针对混杂数据的多核度量学习方法与现有的度量学习方法相比,在准确性方面展现出更优异的性能.     

领域适应核支持向量机

领域适应学习是一种新颖的解决先验信息缺少的模式分类问题的有效方法, 最大化地缩小领域间样本分布差是领域适应学习成功的关键因素之一,而仅考虑领域间分布均值差最小化, 使得在具体领域适应学习问题上存在一定的局限性.对此,在某个再生核Hilbert空间, 在充分考虑领域间分布的均值差和散度差最小化的基础上,基于结构风险最小化模型, 提出一种领域适应核支持向量学习机(Kernel support vector machine for domain adaptation, DAKSVM)及其最小平方范式,人造和实际数据集实验结果显示,所提方法具有优化或可比较的模式分类性能.