基于自适应邻域选择的正交局部敏感判别分析

维数灾难是机器学习算法在高维数据上学习经常遇到的难题,基于局部敏感判别分析(locality sensitive discriminant analysis,LSDA),可以很好地解决维数灾难问题.且LSDA构建邻域时不能充分反映流形学习对邻域要求和克服测度扭曲问题,利用自适应邻域选择方法来度量邻域,同时,引入施密特正交化获得正交投影矩阵,提出一种自适应邻域选择的正交局部敏感判别分析算法.在ORL和YALE人脸数据库上进行实验,实验结果表明了该算法的有效性.     

基于局部Fisher准则判别投影的人脸识别算法

为了提取更真实的样本局部分布结构以及合理利用样本标签信息,提出局部Fisher准则判别投影的人脸识别算法。通过求解样本在总体下稀疏表示来自适应选择样本的近邻参数,以使样本间分布关系尽可能符合真实情况;在获取稀疏近邻结构的基础上,利用样本标签信息设计自定义的类内局部散度矩阵和类间局部散度矩阵,以使得在保留样本间近邻关系的同时提高样本标签信息带来的判别能力。该算法可以有效保持同类样本间的稀疏近邻关系,并且破坏非同类样本间的稀疏近邻结构。在Yale库、AR库以及Yale B库上的实验结果表明:与相关的人脸识别算法相比,该算法具有更高的人脸识别率,可以有效提升人脸识别算法的识别率。     

流形学习中基于局部线性结构的自适应邻域选择

近年来,流形学习成为包括机器学习、模式识别和计算机视觉等相关领域的研究热点.流形学习算法中,邻域选择直接关系到算法的性能,而传统的邻域选择算法如k近邻和ε邻域算法存在参数难以确定,所构建邻域不能反映流形学习算法对邻域要求等缺点.提出了一种基于流形局部线性结构的自适应邻域选择算法(ANSLL).首先通过分析现有流形学习算法,总结出构建邻域的两个基本原则：1)同一邻域的所有点都近似地位于某一d维线性子空间内(d为流形维数）;2)每个邻域包含尽可能多的点.基于这两个基本原则,ANSLL 算法采用主成分分析技术(PCA)度量有限点集的线性程度,通过邻域压缩或扩张方式自适应地构建邻域.针对邻域线性结构的特点,还提出了一种改进的邻域图构建方法,以提高等度映射(Isomap)算法中测地线距离估计的准确性.最后大量系统的实验表明,ANSLL算法能够依据流形的局部曲率自适应地构建邻域,从而提高大多数流形学习算法(如Isomap和LLE)的性能.     

基于子空间学习的快速自适应局部比值和判别分析

降维是处理高维数据的一项关键技术,其中线性判别分析及其变体算法均为有效的监督算法。然而大多数判别分析算法存在以下缺点：a)无法选择更具判别性的特征;b)忽略原始空间中噪声和冗余特征的干扰;c)更新邻接图的计算复杂度高。为了克服以上缺点,提出了基于子空间学习的快速自适应局部比值和判别分析算法。首先,提出了统一比值和准则及子空间学习的模型,以在子空间中探索数据的潜在结构,选择出更具判别信息的特征,避免受原始空间中噪声的影响;其次,采用基于锚点的策略构造邻接图来表征数据的局部结构,加速邻接图学习;然后,引入香农熵正则化,以避免平凡解;最后,在多个数据集上进行了对比实验,验证了算法的有效性。     

邻域参数动态变化的局部线性嵌入

局部线性嵌入是最有竞争力的非线性降维方法,有较强的表达能力和计算优势.但它们都采用全局一致的邻城大小,只适用于均匀分布的流形,无法处理现实中大量存在的非均匀分布流形.为此,提出一种邻域大小动态确定的新局部线性嵌入方法.它采用Hessian局部线性嵌入的概念框架,但用每个点的局部邻域估计此邻域内任意点之间的近似测地距离,然后根据近似测地距离与欧氏距离之间的关系动态确定该点的邻域大小,并以此邻域大小构造新的局部邻域.算法几何意义清晰,在观察数据稀疏和数据带噪音等情况下,都比现有算法有更强的鲁棒性.标准数据集上的实验结果验证了所提方法的有效性.     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

自适应邻域图的流形学习方法

针对目前流形学习方法的嵌入效果非常敏感于局部邻域的选取方式,提出一种自适应邻域图的非线性数据降维方法。该方法考虑数据点周围的点分布信息,自适应地寻找最近邻域大小。不同于传统的邻域选取方法,此方法根据样本点周围的疏密程度来动态地获得最近邻域数,且所得到的各个样本点的邻域数是不等的;将每个样本点与其最近邻点连接,构建自适应邻域图进行有效降维。在人工生成数据集和人脸数据上的仿真结果表明,提出的方法得到了良好的降维效果。     

核邻域保持判别嵌入在人脸识别中的应用

为更有效地进行数据降维,将核映射思想引入到邻域保持判别嵌入中,提出一种核邻域保持判别嵌入的流形学习算法。以类内相似度矩阵与类间散度矩阵之差作为鉴别准则,使类间散度矩阵不受满秩的约束,从而解决人脸数据的非线性和小样本问题。在ORL和Yale人脸库上的实验结果表明,该算法具有较好的人脸识别性能。     

基于自适应邻域嵌入的无监督特征选择算法

无监督特征选择算法可以对高维无标记数据进行有效的降维,从而减少数据处理的时间和空间复杂度,避免算法模型出现过拟合现象.然而,现有的无监督特征选择方法大都运用k近邻法捕捉数据样本的局部几何结构,忽略了数据分布不均的问题.为了解决这个问题,提出了一种基于自适应邻域嵌入的无监督特征选择(adaptive neighborhood embedding based unsupervised feature selection, ANEFS)算法,该算法根据数据集自身的分布特点确定每个样本的近邻数,进而构造样本相似矩阵,同时引入从高维空间映射到低维空间的中间矩阵,利用拉普拉斯乘子法优化目标函数进行求解.6个UCI数据集的实验结果表明：所提出的算法能够选出具有更高聚类精度和互信息的特征子集.     

一种自适应邻域选择算法

提出一种自适应邻域选择算法,适用于所有基于局部的流形学习算法.该算法能够根据数据集分布的不同密度和曲率选择合适的邻域大小,同时结合局部多维尺度变换(LMDS),在合适的邻域下直接降维并通过全局整合得到数据集的低维坐标.实验表明该算法可较好恢复较复杂数据集的低维几何结构.     

基于测地距离逼近的降维算法

TRIMAP算法可以较好地解决一个“将处于某一不明确的黎曼流形上的高维张量数据投影到一低维子空间,而不改变原流形中任一对数据点的测地距离,同时保留识别能力”的问题。但发现了TRIMAP算法中对于图上距离定义的不足,并对其做出了新的定义,重新定义了图上距离的TRIMAP算法,不仅汲取了原算法的优点,并考虑到了不同类之间的大小及各类的疏密程度对属于不同类的样本点之间的距离的影响,可以更有效地识别出待识别样本的类别,提高识别率。经初步的实验验证,在ORL人脸图像的分类问题中获得了比原TRIMAP算法更好的识别性能。     

基于集成学习的规范化LDA人脸识别

针对人脸识别问题中经常面临的“小样本”问题,在规范化的LDA算法的基础上加以改进,并结合集成学习的方法,利用Adaboost算法,在每一次的迭代过程中引进一个加权函数对难以分离的样本增加权重。增加分类器之间的差异度,从而提高样本在新的特征空间中的可分离性,将识别率提高至98.5%。通过ORL数据库的大量实验表明,该算法比传统算法有更好的性能。     

完备自适应近邻图嵌入的局部鉴别投影算法

针对基于自适应近邻图嵌入的局部鉴别投影算法（Neighborhood graph embedding based local adaptive discriminant analysis, LADP ）仅仅利用局部类内离差矩阵主元空间的鉴别信息而丢失了其零空间内大量鉴别信息的不足,结合全空间的基本思想提出了完备的基于自适应近邻图嵌入的局部鉴别投影算法（ Complete LADP,CLADP）。在局部类内离差矩阵的零空间内,通过最大化局部类间离差矩阵提取不规则鉴别特征,在局部类间离差矩阵的主元空间内,通过最大化局部类间离差矩阵的同时最小化局部类 内离差矩阵提取规则鉴别特征,最后将不规则鉴别特征和规则鉴别特征串联形成CLADP特征。在ORL,Yale以及PIE人脸库上的人脸识别实验结果证明了CLADP的有效性。     

基于稀疏约束判别分析的说话人识别算法

在噪音环境下,传统说话人识别特征参数的性能会大幅降低。针对该问题,提出一种说话人特征提取方法,将线性判别分析加上稀疏性的约束,并采用梯度下降的优化方法得出相应算法。实验结果表明,该方法不仅在纯净语音的情况下具有较好的鲁棒性,对含有噪音的语音也有较高的识别率。     

基于部件的级联线性判别分析人脸识别

文章提出一种基于人脸部件表示的级联线性判别分析人脸识别方法。该方法将人脸图像划分为具有交叠区域的多个部件,对每个部件应用线性判别分析以寻找该部件的判别方向,然后对所有部件应用线性判别分析以寻找总体最优判别方向。以从该级联线性判别分析提取的特征作为人脸描述。在FERET人脸库上的人脸识别和人脸确认的实验结果表明,该方法优于传统的基于全局图像的Fisherface方法。     

基于监督保持近邻投影的人脸识别

保持近邻投影是一种无监督线性降维方法,具有保持数据流形上局部近邻结构特性,但应用到分类任务时具有局限性,如忽略类标签的信息。该文提出一种新的人脸识别子空间学习方法——监督保持近邻投影,根据先验的类标签信息保持局部几何关系,能获得较好的近似人脸流形以及增强特征空间的判别力。在ORL人脸数据库上的实验表明该方法是有效的。     

基于张量的半监督判别分析算法

边界Fisher判别分析算法因采用一维向量表示而无法很好保持图像的空间几何结构,且无法利用大量未标记样本信息.为此,提出一种基于张量的半监督判别分析算法.采用二维张量表示人脸空间中的样本图像,揭示流形的内在几何结构,利用有判别信息的标记样本和大量未标记样本,使数据在投影空间的类间分离度最大,同时保证高维空间中不相邻的点在低维空间中也不相邻.在PIE和FERET人脸库上的实验结果表明,该算法能够获得较高的识别率.     

中心近邻嵌入学习算法的人脸识别研究

针对人脸识别问题,提出了一种中心近邻嵌入的学习算法,其与经典的局部线性嵌入和保局映射不同,它是一种有监督的线性降维方法。该方法首先通过计算各类样本中心,并引入中心近邻距离代替两样本点之间的直接距离作为权系数函数的输入;然后再保持中心近邻的几何结构不变的情况下把高维数据嵌入到低维坐标系中。通过中心近邻嵌入学习算法与其他3种人脸识别方法(即主成分分析、线形判别分析及保局映射)在ORL、Yale及UMIST人脸库上进行的比较实验结果表明,它在高维数据低维可视化和人脸识别效果等方面均较其他3种方法取得了更好的效果。