基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

几种流形学习算法的比较研究

如何发现高维数据空间流形中有意义的低维嵌入信息是流形学习的主要目的。目前,大部分流形学习算法都是用于非线性维数约简或是数据可视化的,如等距映射（Isomap）,局部线性嵌入算法（LLE）,拉普拉斯特征映射算（laplacian Eigenmap）等等,文章对这三种流形学习算法进行实验分析与比较,目的在于了解这几种流形学习算法的特点,以便更好地进行数据的降维与分析。     

基于随机游走扩散映射的降维算法

传统数据降维算法分为线性或流形学习降维算法,但在实际应用中很难确定需要哪一类算法。设计一种综合的数据降维算法,以保证它的线性降维效果下限为主成分分析方法且在流形学习降维方面能揭示流形的数据结构。通过对高维数据构造马尔可夫转移矩阵,使越相似的节点转移概率越大,从而发现高维数据降维到低维流形的映射关系。实验结果表明,在人造数据以及真实数据的线性降维中,该算法降维效果与主成分分析算法相当而局部线性嵌入失败;在流形学习降维中,该算法与局部线性嵌入基本相当而主成分分析算法完全失败。     

基于流形学习的维数约简算法

介绍线性维数约简的主成分分析和多维尺度算法,描述几种经典的能发现嵌入在高维数据空间的低维光滑流形非线性维数约简算法,包括等距映射、局部线性嵌入、拉普拉斯特征映射、局部切空间排列、最大方差展开。与线性维数约简算法相比,非线性维数约简算法通过维数约简能够发现不同类型非线性高维数据的本质特征。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

基于流形学习与特征融合的汉语方言辨识

提出了一种基于流形学习的特征提取方法,将流形学习有效地应用于汉语方言辨识。针对语音语谱特征空间维数较高的问题,利用局部线性嵌入（LLE）方法降维并与MFCC特征进行融合,融合结果作为新特征用于汉语方言辨识。仿真实验表明,LLE算法能够获取汉语方言的本征规律,融合后的特征能够有效地提高汉语方言辨识的正确识别率。     

高维数据流形的低维嵌入及嵌入维数研究

发现高维数据空间流形中有意义的低维嵌入是一个经典难题.Isomap是提出的一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维观察数据的内在结构,还能够发现潜在的低维参教空间.Isomap的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有进行证明.首先给出了高维数据的连续流形和低维参数空间之间的等距映射存在性证明,然后区分了嵌入空间维数、高维数据空间的固有维数和流形维数,并证明存在环状流形高维数据空间的参数空间维数小于嵌入空间维数.最后提出一种环状流形的发现算法,判断高维数据空间是否存在环状流形,进而估计其固有维教及潜在空间维数.在多姿态三维对象的实验中证明了算法的有效性,并得到正确的低维参数空间.     

基于增量流形学习的语音情感特征降维方法

非线性流形学习可以准确反映现实非线性数据本质并进行较好的降维,但在语音情感识别过程中难以有效处理不断增加的语音数据集,也不能充分利用训练过程中的情感特征信息。针对上述情况,提出一种基于增量流形学习的语音情感特征降维方法。该方法利用等距映射将训练样本特征维数降至目标维数后,通过增量流形学习的方法分批求得测试样本的低维特征。实验结果表明,相比同类方法,该方法具有较低的运算复杂度和较高的识别率。     

基于并行回火改进的GRBM的语音识别

为提高连续语音识别中的识别准确率,采用高斯伯努利受限玻尔兹曼机进行语音训练和识别。通过结合并行回火算法的思想,采样、交换不同的温度链下的重构数据,实现在全局范围内对整个分布进行采样,提出一种基于并行回火改进的高斯伯努利受限玻尔兹曼机（GRBM-PT）的建模方法。该方法通过对语音信号的连续数据进行预训练分析、建模,最后使用支持向量机作为语音识别的分类器。在TI-Digits数字语音训练和数字测试数据库上的实验结果表明,语音识别率能够达到83.14%,基于GRBM-PT模型下的语音识别率明显优于RBM,RBM-PT以及GRBM模型的性能。     

谱流形快速学习算法研究

谱流形学习算法的目标是发现嵌入在高维数据空间中的低维表示,其近年来得到了广泛的应用。虽然已经取得了许多令人骄傲的成绩,但是却存在一个很大的瓶颈--计算复杂度太高,这严重阻碍了算法在实际中的应用。提出了谱流形快速学习算法,该算法包括两个降低算法复杂度的技术：（1）通过随机选择或者k-means方法从n个样本点中选出 p个锚点,把每个样本点表达为由锚点的邻域点线性组合的形式,从而设计了邻接矩阵的新形式,降低了邻接图的计算复杂度;（2）利用线性化的流形学习算法有效地计算高维数据到低维数据的映射,从而降低了优化特征值的计算复杂度。该算法在3个常用人脸数据集（Yale、ORL、Extended Yale B）上得到了验证,进一步证明了算法的有效性。     

新的连续自编码网络流形学习研究

发现高维观测数据空间的低维流形结构,是流形学习的主要目标。在前人利用神经网络进行非线性降维的基础上,提出一种新的连续自编码（Continuous Autoencoder,C-Autoencoder）网络,该方法特别采用CRBM（Continuous Restricted Boltzmann Machine）的网络结构,通过训练具有多个中间层的双向深层神经网络可将高维连续数据转换成低维嵌套并继而重构高维连续数据。特别地,这种连续自编码网络可以提供高维连续数据空间和低维嵌套结构的双向映射,不仅有效解决了大多数非线性降维方法所不具备的逆向映射问题,而且特别适用于高维连续数据的降维和重构。将C-Autoencoder用于人工连续数据的实验表明,C-Autoencoder不仅能发现嵌入在高维连续数据中的非线性流形结构,也能有效地从低维嵌套中恢复原始高维连续数据。     

基于流形学习的泛化改进的LTSA算法

在数据稀疏、数据非均匀分布和数据流形具有较大曲率的情况下,传统的局部切空间方法不能够有效地揭示流形结构。提出了一种泛化的ILTSA（GILTSA）流形学习方法,该方法以改进的局部切空间排列算法（ILTSA）为基础,在解决流形结构问题的同时,不仅能够获得用于人脸识别更好的低维特征,而且能有效地处理日益增加的数据集的问题。该方法首先基于样品间距离选择近邻集,实现训练集的低维流形,为每个新样本寻找最近的样本训练集。然后结合ILTSA算法,根据其最近样本投影距离计算低维流形。在ORL的人脸图像数据库的实验、Swiss roll和手书的“2”等实验结果表明,与局部线性嵌入和局部切空间排列算法等相比,GILTSA方法增加了整体精度。     

Phoneme recognition using an adaptive supervised manifold learning algorithm

To effectively handle speech data lying on a nonlinear manifold embedded in a high-dimensional acoustic space, in this paper, an adaptive supervised manifold learning algorithm based on locally linear embedding (LLE) for nonlinear dimensionality reduction is proposed to extract the low-dimensional embedded data representations for phoneme recognition. The proposed method aims to make the interclass dissimilarity maximized, while the intraclass dissimilarity minimized in order to promote the discriminating power and generalization ability of the low-dimensional embedded data representations. The performance of the proposed method is compared with five well-known dimensionality reduction methods, i.e., principal component analysis, linear discriminant analysis, isometric mapping (Isomap), LLE as well as the original supervised LLE. Experimental results on three benchmarking speech databases, i.e., the Deterding database, the DARPA TIMIT database, and the ISOLET E-set database, demonstrate that the proposed method obtains promising performance on the phoneme recognition task, outperforming the other used methods.     

基于改进ISOMAP的飞机识别算法

将流形学习方法应用于飞机图像识别中,提出一种基于改进等距映射(ISOMAP)的飞机识别算法.根据飞机图像数据的高维性质,采用改进的ISOMAP对数据进行降维,在构造近邻图的过程中,利用Procrustes距离取代传统的欧氏距离.仿真实验结果证明,该算法的的识别率较高.     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

基于发音特征的音视频融合语音识别模型

构建一种基于发音特征的音视频双流动态贝叶斯网络(DBN)语音识别模型(AFAV_DBN),定义节点的条件概率关系,使发音特征状态的变化可以异步.在音视频语音数据库上的语音识别实验表明,通过调整发音特征之问的异步约束,AF- AV_DBN模型能得到比基于状态的同步和异步DBN模型以及音频单流模型更高的识别率,对噪声也具有...     

基于PCA初始化卷积核的CNN手写数字识别算法

针对卷积神经网络对手写数字识别训练在卷积核随机初始化情况下收敛速度慢和识别率低的问题，提出一种主成分分析（PCA）初始化卷积核的卷积神经网络（CNN）手写数字识别算法。算法首先选取训练样本集并将其送入CNN，在相应层对Feature Map进行全覆盖取图像块处理，然后进行分层PCA学习，将学习到的特征向量做为对应卷积层的卷积核参数进行初始化，最后再用这些卷积核对原始图像进行卷积操作。实验结果表明，与随机初始化卷积核的CNN手写数字识别算法相比，改进的算法在应用MNIST数据库训练时不仅收敛，而且在产生相同均方误差的情况下迭代次数少，识别率高。