改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

基于自适应邻域选择的局部判别投影算法

在多模数据分类中,使用局部Fisher判别分析和边界Fisher分析方法构建邻域不能充分反映流形学习对邻域的要求.为此,提出一种基于自适应邻域选择的局部判别投影算法.采用自适应方法扩大或者缩小近邻系数k,以构建邻域,从而保持局部线性结构,揭示流形的内在几何结构,利用局部化方法使得投影空间中同类近邻样本尽量紧凑、异类近邻样本尽量分开.在ORL和YALE入脸数据库中进行实验,结果表明,在不同训练样本个数下,该算法均能获得较高的识别率.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

一种基于局部保持的子流形可视化方法

针对多数流形学习算法是基于单一流形的假设,当高维数据集中存在多个流形,流形学习算法可视化效果差问题,借鉴流形曲面在二维平面空间展开的思想提出基于局部保持的的子流形可视化方法。利用奇异值分解和k均值聚类方法将流形数据划分为多块子流形,计算第一流形切块中心与其余切块中心的拓扑结构关系,在目标低维空间保持上述中心间拓扑结构下逐一对流形切块投影展开,最后在人脸数据集上进行实验。实验结果表明:该方法较好保持了子流形内的数据间的拓扑结构。     

面向高维特征缺失数据的K最近邻插补子空间聚类算法

针对高维特征缺失数据在聚类过程中面临的因数据高维引发的维度灾难问题和数据特征缺失导致的样本间有效距离计算失效问题,提出一种面向高维特征缺失数据的K最近邻（KNN）插补子空间聚类算法KISC。首先,利用高维特征缺失数据的子空间下的近邻关系对原始空间下的特征缺失数据进行KNN插补;然后,利用多次迭代矩阵分解和KNN插补获得数据最终可靠的子空间结构,并在该子空间结构进行聚类分析。在6个图像数据集原始空间的聚类结果表明,相较于经过插补后直接进行聚类的对比算法,KISC算法聚类效果更好,说明子空间结构能够更加容易且有效地识别数据的潜在聚类结构;在6个高维数据集子空间下的聚类结果显示,KISC算法在各个数据集的聚类性能均优于对比算法,且在大多数据集上取得了最优的聚类精确度（ACC）和标准互信息（NMI）。KISC算法能够更加有效地处理高维特征缺失数据,提高算法的聚类性能。     

基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

基于链接关系的半监督特征选择算法

社会媒体网络产生的海量、高维无标记数据给数据处理工作带来巨大挑战,同时数据样本间构成的链接图信息在现有模式识别算法中难以有效利用.基于此,文中充分挖掘社会媒体网络数据链接关系图,结合部分监督信息提出一种基于链接关系的半监督特征选择算法(SSLFS).该算法利用谱分析和稀疏约束,使得选出的特征子集保持原数据的局部流形和稀疏特性.在社会媒体数据集Flickr上的实验结果表明,SSLFS相比其他特征选择方法得到的特征子集在分类性能上有较显著提高.     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

基于自适应切空间的MRI图像配准

微分同胚是一种光滑可逆的变换,在MRI图像配准中可以保证图像形变后的拓扑结构保持不变,同时避免出现不合理的物理现象。为了在空间变换中获得更合理的同胚映射,高维空间中数据的非线性结构被考虑,基于流形学习方法提出一种自适应切空间的MRI图像配准算法。首先,把MRI数据构造成对称正定（SPD）的协方差矩阵,然后形成李群;接着,利用样本点邻域的局部切空间来表示李群的几何结构的非线性;接下来,在流形上用自适应邻域选择的方法形成的线性子空间去逼近局部切空间,提高切空间的局部线性化程度,从而最大限度地保留流形的局部非线性结构,得到最优的同胚映射。仿真数据和临床数据的实验结果显示,与传统的非参数微分同胚配准算法相比,该算法在高维稠密形变场上获得更高的拓扑保持度,最终提高图像配准精度。     

针对图像序列的谱深度学习算法

为了更好地理解图像序列的隐藏深度信息,需要分析数据的隐藏结构。目前,多采用谱流形学习算法学习高维采样数据的低维嵌入坐标,从而获取数据的隐藏结构。谱流形学习算法一般是基于所研究的高维数据分布在单个流形上的前提假设,并不支持图像序列中存在的多流形结构。结合图像序列的结构特点,提出了一种针对图像序列的谱深度学习算法(spectral deep learning,SDL)。通过建立混合多流形模型,保持流形局部变化的平滑和连续,利用流形对齐建立层次流形的映射关系,得到图像序列的深度低维嵌入坐标。最后通过实验证明了算法在混合多流形数据集和图像序列数据集上的有效性。     

Supervised optimal locality preserving projection

In the past few years, the computer vision and pattern recognition community has witnessed a rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among these methods, locality preserving projection (LPP) is one of the most promising feature extraction techniques. Unlike the unsupervised learning scheme of LPP, this paper follows the supervised learning scheme, i.e. it uses both local information and class information to model the similarity of the data. Based on novel similarity, we propose two feature extraction algorithms, supervised optimal locality preserving projection (SOLPP) and normalized Laplacian-based supervised optimal locality preserving projection (NL-SOLPP). Optimal here means that the extracted features via SOLPP (or NL-SOLPP) are statistically uncorrelated and orthogonal. We compare the proposed SOLPP and NL-SOLPP with LPP, orthogonal locality preserving projection (OLPP) and uncorrelated locality preserving projection (ULPP) on publicly available data sets. Experimental results show that the proposed SOLPP and NL-SOLPP achieve much higher recognition accuracy.     

基于自组织映射的流形学习与可视化

针对自组织映射(SOM)在学习和可视化高维数据内在的低维流形结构时容易产生“拓扑缺陷”的这一问题,提出了一种新的流形学习算法--动态自组织映射(DSOM)。该算法按照数据的邻域结构逐步扩展训练数据集合,对网络进行渐进训练,以避免局部极值,克服“拓扑缺陷”问题;同时,网络规模也随之动态扩展,以降低算法的时间复杂度。实验表明,该算法能更加真实地学习和可视化高维数据内在的低维流形结构;此外,与传统的流形学习算法相比,该算法对邻域大小和噪声也更加鲁棒。所提算法的网络规模和训练数据集合都将按照数据内在的邻域结构进行同步扩展,从而能更加简洁并真实地学习和可视化高维数据内在的低维流形结构。     

全局保持的流形学习算法对比研究

全局保持的流形学习算法主要是基于保持高维观测空间和内在低维流形的全局几何特性。详细比较了全局保持的典型流形学习算法的特点及其相互之间的联系,标明了它们的优点与缺陷。实验说明这些方法发现的内在维数和内在低维流形的差异。最后提出了一些新的流形学习研究方向。     

核岭回归的邻域保持最大间隔分析的人脸识别

邻域保持嵌入是局部线性嵌入的线性近似,强调保持数据流形的局部结构.改进的最大间隔准则重视数据流形的判别和几何结构,提高了对数据的分类性能.文中提出的核岭回归的邻域保持最大间隔分析既保持流形的局部结构,又使不同类别的数据保持最大间隔,以此构建算法的目标函数.为了解决数据流形高度非线性化的问题,算法采用核岭回归计算特征空间的变换矩阵.先求解数据样本在核子空间中降维映射的结果,再解得核子空间.在标准人脸数据库上的实验表明该算法正确有效,并且识别性能优于普通的流形学习算法.     

Local structure based supervised feature extraction

In the past few years, the computer vision and pattern recognition community has witnessed the rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel feature extraction method, called locally discriminating projection (LDP). LDP utilizes class information to guide the procedure of feature extraction. In LDP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The similarity has several good properties which help to discover the true intrinsic structure of the data, and make LDP a robust technique for the classification tasks. We compare the proposed LDP approach with LPP, as well as other feature extraction methods, such as PCA and LDA, on the public available data sets, FERET and AR. Experimental results suggest that LDP provides a better representation of the class information and achieves much higher recognition accuracies.     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

局部保持的流形学习算法对比研究

局部保持的流形学习通过从局部到整体的思想保持观测空间和内在嵌入空间的局部几何共性,发现嵌入在高维欧氏空间中的内在低维流形。分析了局部保持的流形学习算法的基本实现框架,详细比较了一些局部保持的流形学习算法的特点,提出了几个有益的研究主题。     

一种用于特征提取的保局判别分析算法

针对保局投影(LPP)为无监督算法的局限,提出了一种新的监督版的LPP,即保局判别分析(LPDA)算法。LPDA吸收了流形学习算法与最大边界准则(MMC)的共同特点,可以将高维的人脸数据投影到低维子空间,具有能处理新样本与无小样本问题的优点。与现有的多种经典相关方法相比,从Yale, UMIST及MIT 3个人脸数据库的实验结果表明,提出的LPDA算法在降维的同时提取了用于人脸识别的更有效的特征,人脸图像识别性能较好,具有较强的判别分析能力。     

基于子空间学习的图稀疏属性选择算法*

针对处理高维度属性的大数据的属性约减方法进行了研究。发现属性选择和子空间学习是属性约简的两种常见方法,其中属性选择具有很好的解释性,子空间学习的分类效果优于属性选择。而往往这两种方法是各自独立进行应用。为此,提出了综合这两种属性约简方法,设计出新的属性选择方法。即利用子空间学习的两种技术(即线性判别分析(LDA)和局部保持投影(LPP)),考虑数据的全局特性和局部特性,同时设置稀疏正则化因子实现属性选择。基于分类准确率、方差和变异系数等评价指标的实验结果比较,表明该算法相比其它对比算法,能更有效的选取判别属性,并能取得很好的分类效果。     

Optimal Locality Regularized Least Squares Support Vector Machine via Alternating Optimization

The least squares support vector machine (LSSVM), like standard support vector machine (SVM) which is based on structural risk minimization, can be obtained by solving a simpler optimization problem than that in SVM. However, local structure information of data samples, especially intrinsic manifold structure, is not taken full consideration in LSSVM. To address this problem and inspired by manifold learning technique, we propose a novel iterative least squares classifier, coined optimal locality preserving least squares support vector machine (OLP-LSSVM). The idea is to combine structural risk minimization and locality preserving criterion in a unified framework to take advantage of the manifold structure of data samples to enhance LSSVM. Furthermore, inspired by the recent development of simultaneous optimization technique, adjacent graph of locality preserving criterion is optimized simultaneously to give rise to improved discriminative performance. The resulting model can be solved by alternating optimization method. The experimental results on several publicly available benchmark data sets show the feasibility and effectiveness of the proposed method.