基于最近邻的随机非线性降维

针对线性降维技术应用于具有非线性结构的数据时无法得到令人满意的结果的问题,提出一种新的着重于保持高维空间局部最近邻信息的非线性随机降维算法(NNSE)。该算法首先在高维空间中通过计算样本点之间的欧氏距离找出每个样本点的最近邻点,接着在低维空间中产生一个随机的初始分布;然后通过将低维空间中的样本点不断向其最近邻点的平均位置移动,直到产生稳定的低维嵌入结果。与一种先进的非线性随机降维算法——t分布随机邻域嵌入(t-SNE)相比,NNSE算法得到的低维结果在可视化方面与t-SNE算法相差不大,但通过比较两者的量化指标可以发现,NNSE算法在保持最近邻信息方面上明显优于t-SNE算法。     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

面向数据集的ST-SNE算法高维数据降维研究

在数据挖掘和机器学习等领域中,数据降维是解决高维数据分析与处理难题的有效手段。对t-SNE 降维算法进行了深入的研究,并对t-SNE 计算高维空间样本点相似度的过程进行了改进。t-SNE 算法直接利用样本点在高维空间中的欧氏距离来度量样本点的相似度,但欧氏距离在高维空间中不能忠实反映样本位于非线性流形上的相似关系。利用样本点在高维空间中的邻居结构,提出使用二阶邻近距离来度量样本点的相似度,并提出基于二阶邻近距离的随机近邻嵌入算法（Second Order t-SNE,ST-SNE）。在MNIST、USPS、COIL-20等多个数据集上进行了对比实验。实验结果表明,改进后的算法提升了降维结果的分类准确度和可视化效果。     

改进LNS和邻域保持嵌入算法的研究

传统邻域保持嵌入算法(Neighbor Preserving Embedding,NPE)对具有多中心、方差差异明显特性的高维数据的降维处理效果并不好,因此提出一种改进LNS和邻域保持嵌入算法(Modified Local Neighbor Standardiza-tion-Neighbor Preserving Em...     

自适应加权t-SNE算法及其在脑网络状态观测矩阵降维中的应用研究

针对目前数据降维算法受高维空间样本分布影响效果不佳的问题,提出了一种自适应加权的t分布随机近邻嵌入（t-SNE）算法。该算法对两样本点在高维空间中的欧氏距离进行归一化后按距离的不同分布状况进行分组分析,分别按照近距离、较近距离和远距离三种情况在计算高维空间内样本点间的相似概率时进行自适应加权处理,以加权相对距离代替欧氏绝对距离,从而更真实地度量每一组不同样本在高维空间的相似程度。在高维脑网络状态观测矩阵中的降维实验结果表明,自适应加权t-SNE的降维聚类可视化效果优于其它降维算法,与传统t-SNE算法相比,聚类指标值DBI值平均降低了28.39%,DI值平均提高了161.84%,并且有效地消除了分散、交叉和散点等问题。     

基于E-t-SNE的混合属性数据降维可视化方法

针对传统的t分布随机近邻嵌入（t-SNE）算法只能处理单一属型数据,不能很好地处理混合属性数据的问题,提出一种扩展的t-SNE降维可视化算法E-t-SNE,用于处理混合属性数据。该方法引入信息熵概念来构建分类属性数据的距离矩阵,采用分类属性数据距离与数值属性数据欧式距离相结合的方式构建混合属性数据距离矩阵,将新的距离矩阵输入t-SNE算法对数据进行降维并在二维空间可视化展示。此外,为验证算法有效性,采用[k]近邻[(kNN)]算法对混合数据降维后的效果进行评价。通过在UCI数据集上的实验表明,该方法在处理混合属性数据方面,不仅具有较好的可视化能力,而且能有效地对不同类别的数据进行降维分簇,提升后续分类器的分类准确率。     

一种利用极限学习机的数据可视化方法

提出一种利用极限学习机ELM的数据可视化方法,该方法利用多维尺度分析MDS、Pearson相关性、Spearman相关性代替常用的均方误差MSE实现高维数据投影到2-维平面的数据可视化。将所提方法与近期流行的随机邻域嵌入SNE及其改进的t-SNE方法对比,并通过局部连续元准则LCMC进行质量评测。结果表明:该方法的数据可视化结果及计算性能明显优于SNE及t-SNE方法;而在提出的三种学习规则中,基于MDS的学习规则效果最好。     

局部线性嵌入算法及其稳定性实现

局部线性嵌入(locally linear embedding,LLE)算法是一种非常有效的非线性数据降维算法,广泛应用于机器学习、数据挖掘、模式识别等领域。它通过两次局部最小化实现对高维数据的非线性降维。首先给出了LLE算法关键步骤的理论实现,然后对LLE算法降维效果进行验证,最后在非均匀采样数据集上,分别验证了LLE算法的邻域点稳定性和数据点采样稳定性,有效地验证了LLE算法作为非线性降维算法的良好性能。     

t-SNE LDA算法在仿生嗅觉中的应用研究*

将流形学习中的t-SNE算法引入仿生嗅觉领域中,本研究提出一种基于t-SNE与LDA算法相结合的气味分类鉴定新方法。由PEN3电子鼻获取物质气味特征信息,通过t-SNE算法将非线性、高维度的气味响应数据降维到低维空间,并利用LDA算法对低维数据进行分类和识别。本研究利用五种不同成分的纺织品材料气味信息,通过t-SNE、PCA LDA和t-SNE LDA三种算法作对比实验。实验结果表明,相较于其他两种方法,t-SNE LDA算法对常见的不同成分纺织品材料拥有更好的分类和识别效果,而且t-SNE LDA算法得到的结果具有较小的类内离散度和较大的类间离散度。因此,t-SNE LDA算法是仿生嗅觉中气味分类和识别的一个新方法。     

一种邻域线性竞争的排列降维方法

局部线性嵌入算法以及局部切空间排列算法是目前对降维研究有着重要影响的算法, 但对于稀疏数据及噪声数据, 在使用这些经典算法降维时效果欠佳。一个重要问题就是这些算法在处理局部邻域时存在信息涵盖量不足。对经典算法中全局信息和局部信息的提取机制进行分析后, 提出一种邻域线性竞争的排列方法（neighborhood linear rival alignment algorithm, NLRA）。通过对数据点的近邻作局部结构提取, 有效挖掘稀疏数据内部信息, 使得数据整体降维效果更加稳定。通过手工流形和真实数据集的实验, 验证了算法的有效性和稳定性。     

改进的加权t-SNE算法及在故障诊断中的应用

对随机邻域嵌入算法(stochastic neighbor embedding, SNE)中的距离进行改进,提出一种基于Manhattan距离的加权t-SNE(Mwt-SNE)算法。使用受空间维数影响较小的Manhattan距离作为度量方式,使用k均值聚类算法将高维空间数据样本点距离分为三类,基于表格法进行权重参数寻优与加权,以加权相对Manhattan距离代替欧式绝对距离计算相似度条件概率,从而增大数据对象之间的区分度,提升降维效果,增强分类显著性。提出基于Mwt-SNE算法的在线故障诊断模型,使用核密度估计(KDE)确定控制限并进行在线监控。TE化工过程实验表明Mwt-SNE算法能有效降低误报率和漏报率,从而提高故障诊断稳定性和准确性。     

Conditional t-SNE: more informative t-SNE embeddings

Machine Learning - Dimensionality reduction and manifold learning methods such as t-distributed stochastic neighbor embedding (t-SNE) are frequently used to map high-dimensional data into a...     

一种改进的局部线性嵌入算法

局部线性嵌入算法(Local Linear Embedding,简称LLE)是一种非线性流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的线性嵌入算法(Local Project Linear Embedding,简称LPLE).通过假定目标空间的整体嵌入函数,重新构造样本点的局部邻域特征向量,最后将问题归结为损失矩阵的特征向量问题从而构造出目标空间的全局坐标.LPLE算法解决了传统LLE算法在源数据稀疏情况下的不能有效进行降维的问题,这也是其他传统的流形学习算法没有解决的.通过实验说明了LPLE算法研究的有效性和意义.     

基于深度学习的虹膜人脸多特征融合识别

传统多生物特征融合识别方法中人工设计特征提取存在盲目性和差异性,特征融合存在空间不匹配或维度过高等问题,为此提出一种基于深度学习的多生物特征融合识别方法。通过卷积神经网络(convolutional neural networks,CNN)提取人脸和虹膜特征、参数化t-SNE算法特征降维和支持向量机(support vector machine,SVM)分类组合进行融合识别。实验结果表明,该融合识别方法与单一生物特征识别以及其它融合识别方法相比,鲁棒性增强,识别性能提升明显。     

基于Gabor变换与改进SLLE的人脸表情识别

本文通过Gabor变换进行人脸表情图像的特征提取,并利用局部线性嵌入（LLE）系列算法进行数据降维操作.LLE算法是一种非线性降维算法,它可以使得降维后的数据保持原有的拓扑结构,在人脸表情识别中有广泛的应用.因为LLE算法没有考虑样本的类别信息,因此有了监督的局部线性嵌入（SLLE）算法.但是SLLE算法仅仅考虑了样本的类别信息却没有考虑到各种表情之间的关系,因此本文提出一种改进的SLLE算法,该算法认为中性表情是其他各种表情的中心.在JAFFE库上进行人脸表情识别实验结果表明,相比LLE算法和SLLE算法,该算法获得了更好的人脸表情识别率,是一种有效算法.     

LDE融合光谱回归分类的光照变化人脸识别

针对光照变化人脸识别问题中传统的光谱回归算法不能很好地进行特征提取而严重影响识别性能的问题,提出了局部判别嵌入优化光谱回归分类的人脸识别算法。计算出训练样本的特征向量;借助于数据的近邻和分类关系,利用局部判别嵌入算法构建分类问题所需的嵌入,同时学习每种分类的子流形所需的嵌入;利用光谱回归分类算法计算投影矩阵,并利用最近邻分类器完成人脸的识别。在两大人脸数据库扩展YaleB及CMU PIE上的实验验证了该算法的有效性,实验结果表明,相比其他光谱回归算法,该算法取得了更高的识别率、更好的工作特性,并且降低了计算复杂度。