邻域参数动态变化的局部线性嵌入

局部线性嵌入是最有竞争力的非线性降维方法,有较强的表达能力和计算优势.但它们都采用全局一致的邻城大小,只适用于均匀分布的流形,无法处理现实中大量存在的非均匀分布流形.为此,提出一种邻域大小动态确定的新局部线性嵌入方法.它采用Hessian局部线性嵌入的概念框架,但用每个点的局部邻域估计此邻域内任意点之间的近似测地距离,然后根据近似测地距离与欧氏距离之间的关系动态确定该点的邻域大小,并以此邻域大小构造新的局部邻域.算法几何意义清晰,在观察数据稀疏和数据带噪音等情况下,都比现有算法有更强的鲁棒性.标准数据集上的实验结果验证了所提方法的有效性.     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

核岭回归的邻域保持最大间隔分析的人脸识别

邻域保持嵌入是局部线性嵌入的线性近似,强调保持数据流形的局部结构.改进的最大间隔准则重视数据流形的判别和几何结构,提高了对数据的分类性能.文中提出的核岭回归的邻域保持最大间隔分析既保持流形的局部结构,又使不同类别的数据保持最大间隔,以此构建算法的目标函数.为了解决数据流形高度非线性化的问题,算法采用核岭回归计算特征空间的变换矩阵.先求解数据样本在核子空间中降维映射的结果,再解得核子空间.在标准人脸数据库上的实验表明该算法正确有效,并且识别性能优于普通的流形学习算法.     

流形学习降维算法中一种新动态邻域选择方法

近年来,高维数据算法在诸如机器学习领域以及模式识别当中有着十分广泛的应用。降维算法的目的是为了揭示出在高维数据空间中样本数据的固有的组成特性,关注于寻找原始数据集特征表示中有价值的信息。相邻区域选择问题对流形学习降维算法的性能改进至关重要。因此,该文提出一种流形学习降维算法中的新动态邻域选择方法Mod-HLLE(modified Hessian locally linear embedding)。该方法针对Hessian布局线嵌入方法HLLE进行了考察,Mod-HLLE算法是针对高维数据的局部线性嵌入降维算法的改进。Mod-HLLE主要通过计算每个数据点的局部相邻区域参数的方式来完成测量距离和欧几里德距离的评测,再通过动态的相邻区域的尺寸大小来选择新的局部相邻区域。Mod-HLLE在非噪声干扰和噪声干扰情况下,对两类典型3D高维数据集进行降维测试。实验结果表明,Mod-HLLE可以获得很好的几何直观效果,在性能和稳定性方面都优于常见的降维算法,对其他高维数据降维算法的改进也具有很好的参考价值。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

基于相对流形的局部线性嵌入

局部线性嵌入算法极大地依赖于邻域是否真实地反映了流形的内在结构,现有方法构造的邻域结构是拓扑不稳定的,对噪音和稀疏数据敏感.根据认知的相对性规律提出了相对变换,并用其构造了相对空间和相对流形.相对变换可以提高数据之间的可区分性,并能抑制噪音和数据稀疏的影响.在构造的相对空间和相对流形上确定数据点的邻域能够更真实地反映流形的内在结构,由此提出了增强的局部线性嵌入算法,明显地提高了性能,特别是基于流形的方法还同时提高了速度.标准数据集上的实验结果验证了该方法的有效性.     

流形学习中基于局部线性结构的自适应邻域选择

近年来,流形学习成为包括机器学习、模式识别和计算机视觉等相关领域的研究热点.流形学习算法中,邻域选择直接关系到算法的性能,而传统的邻域选择算法如k近邻和ε邻域算法存在参数难以确定,所构建邻域不能反映流形学习算法对邻域要求等缺点.提出了一种基于流形局部线性结构的自适应邻域选择算法(ANSLL).首先通过分析现有流形学习算法,总结出构建邻域的两个基本原则:1)同一邻域的所有点都近似地位于某一d维线性子空间内(d为流形维数);2)每个邻域包含尽可能多的点.基于这两个基本原则,ANSLL 算法采用主成分分析技术(PCA)度量有限点集的线性程度,通过邻域压缩或扩张方式自适应地构建邻域.针对邻域线性结构的特点,还提出了一种改进的邻域图构建方法,以提高等度映射(Isomap)算法中测地线距离估计的准确性.最后大量系统的实验表明,ANSLL算法能够依据流形的局部曲率自适应地构建邻域,从而提高大多数流形学习算法(如Isomap和LLE)的性能.     

基于邻域参数动态变化的局部线性嵌入人脸识别

为了增强局部线性嵌入(LLE)算法对人脸识别中特征的分类性能,将最小生成树算法思想引入,提出一种邻域参数动态变化的新的局部线性嵌入算法.该算法采用单链聚类算法以及对其进一步优化自动确定数据点邻域,改善了一般局部线性嵌入算法固定邻域的不足,及其处理现实中大量非均匀源数据集失效问题的缺点.将改进后的算法结合支持向量机(SVM)分类器进行人脸识别,在ORL和YALE人脸数据库的平均识别率得到较高提升.仿真实验结果验证了该算法的有效性.     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

局部线性重构分类算法研究

局部线性重构(LLR)是局部线性嵌入算法(LLE)的一个基本步骤,其目的是用线性重构的方法来表达向量数据之间的局部邻域关系。提出一种快速的监督分类算法,它采用训练集中的向量数据重构测试数据,能够最好地重构给定测试数据的类别被判定为待求标签。与相关算法的实验比较表明,该算法在分类准确性和计算时间上均有明显的优势。