一种基于高斯隐变量模型的分类算法

高斯过程隐变量模型是近年来新兴的无监督降维方法,它可以找到高维数据的低维流形结构.但是由于高斯过程隐变量模型是无监督的概率降维方法,所以当数据集中的样本有类别标记信息时,高斯过程隐变量模型不能利用这些监督信息,实现分类的任务.为了使高斯过程隐变量模型可以处理分类任务,文中提出了一种监督的高斯过程隐变量模型分类模型.通过最大化后验似然的方法确定观测数据在隐空间的坐标,同时可以完成分类任务.实验结果证明了该模型可以有效地用于分类.     

基于EM算法的高斯混合模型在鸢尾花数据集的应用

高斯混合模型是一种含隐变量的概率图模型,其参数通常由EM算法迭代训练得到.本文在简单推导高斯混合模型的EM算法后,将使用高斯混合模型对鸢尾花(iris)数据集进行分类判别.同时,针对EM算法受初始值影响大的问题,使用了K均值聚类算法作为其初始值的估计方法.在得到K均值聚类算法和EM算法的分类判别结果后,对比两种算法的判...     

一种基于局部保持的隐变量模型

隐变量模型是一类有效的降维方法,但是由非线性核映射建立的隐变量模型不能保持数据空间的局部结构。为了克服这个缺点,文中提出一种保持数据局部结构的隐变量模型。该算法充分利用局部保持映射的保局性质,将局部保持映射的目标函数作为低维空间中数据的先验信息,对高斯过程隐变量中的低维数据进行约束,建立局部保持的隐变量。实验结果表明,相比原有的高斯过程隐变量,文中算法较好地保持数据局部结构的效果。     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

双重高斯混合模型的EM算法的聚类问题研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值.半监督聚类是利用少部分标签的数据辅助大量未标签的数据进行的聚类分析.文章介绍了一种基于双重高斯混合模型的EM算法,在无监督学习中增加一些已标记的样本,利用已标记的样本得到初始参数,研究了半监督条件下的双重高斯混合模型的EM聚类算法.实验表明,该算法较无监督学习而言,提升了样本的识别率,有良好的聚类性能.这种算法模型也可以作为一种基础模型,具有一定的应用领域.     

基于耦合度的高斯均值场归一化结构选择算法

高斯Markov随机场是具有Markov性质、符合多元高斯分布的概率模型. 高斯均值场是高斯Markov随机场模型上一种基本的变分推理方法,该方法通过引入基于变量簇分解的自由分布进行变分转换,计算出目标函数的下界. 自由分布结构选择是变分推理的重要步骤,也是折中变分精度与计算复杂性的关键. 提出了一个新的结构选择标准,并设计了一个结构选择算法. 首先,在高斯Markov随机场上定义了耦合度和类耦合度概念来度量变量簇间的依赖关系,证明了高斯均值场的耦合度-精度定理,并进一步给出了类耦合度结构选择指标;然后,结合类耦合度指标和变量簇归一化技术,设计了一个高斯均值场结构选择算法;通过对比实验验证了算法的有效性.     

多尺度多核高斯过程隐变量模型

高斯过程隐变量模型（GPLVM）作为一种无监督的贝叶斯非参数降维模型,无法有效利用数据所包含的语义标记信息,同时其建模过程中假设观测变量的各特征相互独立,忽略了特征之间的空间结构信息。为解决上述问题,采用图像池化操作获得不同尺度的特征表示,利用线性投影方式将不同尺度的图像投影到低维隐空间进行特征融合,并将融合特征和数据标记分别作为输入和输出,构建多尺度多核高斯过程隐变量模型（MSMK-GPLVM）,通过图像数据与数据标记的关联实现模型监督学习,同时对GPLVM和线性投影权重矩阵进行联合学习以提高分类性能。实验结果表明,MSMK-GPLVM能够有效利用图像空间结构信息和语义标记信息,相比其他隐变量模型具有更强的数据降维和分类能力。     

基于高斯过程隐变量模型的图像数据降维算法

针对传统谱算法在数据降维计算复杂度高的缺点,提出一种基于高斯过程隐变量模型的图像数据降维算法。首先,通过高斯过程(Gaussian Process,GP)建立图像数据的概率模型,得到图像数据的隐变量模型;其次,利用概率最大化原则得到最优超参数,通过最优超参数求取最优数据降维结果;最后,实现图像数据降维。选取Yale,ORL两类数据集与传统算法进行人脸识别对比实验,实验结果表明:所提出的算法针对图像数据降维问题有较好的效果,结合支持向量机算法,可有效地对人脸图像进行识别,且有较高的识别率,从而体现出算法对高维数据降维的准确性。     

含隐变量非高斯无环因果模型的估计算法

针对观测变量中含隐变量的非高斯线性无环因果模型的估计问题,提出一种新的算法。通过在超完备基独立成分分析算法中引入满足Oracle性质的惩罚因子,使混合矩阵的估计值具有稀疏连接权值,由此推导出模型估计算法。实验结果表明,该算法能够改进因果模型估计的精确程度,提高算法效率。     

基于时序隐变量模型的因果关系发现算法

为在基于隐变量模型的因果关系发现算法中综合考虑隐变量之间的瞬时性和延时性因果效应,构建以动态贝叶斯网络为基础的时序隐变量模型,提出对应的因果关系发现算法。使用因子分析的方法估计测量模型中的因子载荷矩阵,应用结构向量自回归模型估计自回归矩阵,利用数据的非高斯性依次学习模型中隐变量之间的瞬时效应矩阵与延时效应矩阵,构建时序隐变量模型的因果网络结构。实验结果验证了算法的有效性。     

Relevance Units Latent Variable Model and Nonlinear Dimensionality Reduction

A new dimensionality reduction method, called relevance units latent variable model (RULVM), is proposed in this paper. RULVM has a close link with the framework of Gaussian process latent variable model (GPLVM) and it originates from a recently developed sparse kernel model called relevance units machine (RUM). RUM follows the idea of relevance vector machine (RVM) under the Bayesian framework but releases the constraint that relevance vectors (RVs) have to be selected from the input vectors. RUM treats relevance units (RUs) as part of the parameters to be learned from the data. As a result, a RUM maintains all the advantages of RVM and offers superior sparsity. RULVM inherits the advantages of sparseness offered by the RUM and the experimental result shows that RULVM algorithm possesses considerable computational advantages over GPLVM algorithm.      

一种孤立点挖掘的混合核方法

孤立点是不具备数据一般特性的数据对象。支持向量机(SVM)将数据点映射到高维特征空间,通过划分最大间隔的超平面来分离孤立点和正常点。利用支持向量机在处理小样本、高维数及泛化性能强等方面的优势,提出了一种新的基于高斯过程潜变量模型(GPLVM)和支持向量分类的检测模型算法。利用GPLVM提供潜变量到数据空间的平滑概率映射实现数据降维,然后通过SVM交叉验证进行孤立点检测。在KDD99数据集上进行了仿真实验,数值结果表明该算法在保证低误报率的前提下能有效地提高检测率,证明了方法的有效性。     

基于密度信息的改进降维方法

扩散映射(diffusion maps)是一种基于流形学习的非线性降维方法。为了提高降维的效果, 根据近邻点的选取对diffusion maps的降维效果影响, 利用数据近邻点分布的不同, 挖掘该数据点局部的密度信息, 能够更好地保持数据的流形结构。利用样本点聚类后的类别信息构造密度信息指数, 提出了一种改进的diffusion maps算法, 有效地保持了高维数据中的流形结构, 所提的新算法在多种实验中得到了证实。     

黎曼法坐标流形学习扩展算法

LOGMAP是最近提出的一种黎曼流形学习算法,它能够有效地学习出高维数据的低维嵌入坐标.然而该算法只能处理单类数据的流形学习问题,当存在多类数据时往往不能得到理想的嵌入结果.为解决这个问题,提出了一种扩展的LOGMAP算法(Extended LOGMA PAlgorithm,简称ELOGMAP).该算法通过计算全局基准点所在类到其他类的最短距离找出各类的局部基准点,然后逐个计算各类数据相对于局部基准点的局部黎曼法坐标,最后通过扩展的全局基准点与局部基准点之间测地距离关系得到多类数据的整体嵌入坐标.实验结果验证了该算法在处理多类数据流形学习上的有效性.     

Learning a locality discriminating projection for classification

This paper introduces a new algorithm called locality discriminating projection (LDP) for subspace learning, which provides a new scheme for discriminant analysis by considering both the manifold structure and the prior class information. In the LDP algorithm, the overlap among the class-specific manifolds is approximated by an invader graph, and a locality discriminant criterion is proposed to find the projections that best preserve the within-class local structures while decrease the between-class overlap. The feasibility of the LDP algorithm has been successfully tested in text data and visual recognition experiments. Experiment results show it is an effective technique for data modeling and classification comparing to linear discriminant analysis, locality preserving projection, and marginal Fisher analysis.     

一种基于核的监督流形学习算法

针对流形学习算法——局部保持映射存在的参数选择及不能进行非线性特征提取的问题,提出一种基于核的监督流形学习算法.该算法作为局部保持映射算法的改进算法用样本类标识信息指导建立局部最近邻图,并在建立局部最近邻图使用无参数的相似度量.利用核方法来解决局部保持映射算法在处理线性不可分问题上的局限性问题.在两个常用数据库上验证本文算法的可行性和有效性.     

基于核融合的多信息流形学习算法*

流形学习算法可分为全局流形学习与局部流形学习,它们分别保持了流形上的全局特征信息与局部特征信息。但是实验证明仅基于单一特征信息的流形学习算法不能很好的保持真实的流形结构,影响了学习效果。因此,基于流形学习的核的视角,将全局流形学习算法ISOMAP与局部流形学习算法LTSA的核进行融合,提出了可以同时保持流形结构的全局特征信息与局部特征信息的流形学习算法,在人工数据集和人脸图像集上的仿真实验证明了本文算法的有效性。     

基于虚拟样本图像集的多流形鉴别学习算法

为了丰富训练样本的类内变化信息,提出了基于通用训练样本集的虚拟样本生成方法。进一步,为了利用生成的虚拟样本中的类内变化信息有效地完成单样本人脸识别任务,提出了基于虚拟样本图像集的多流行鉴别学习算法。该算法首先将每类仅有的单个训练样本图像和该类的虚拟样本图像划分为互补重叠的局部块并构建流形,然后为每个流形学习一个投影矩阵,使得相同流形内的局部块在投影后的低维特征空间间隔最小化,不同流形中的局部块在投影后的低维特征空间中间隔最大化。实验结果表明,所提算法能够准确地预测测试样本中的类内变化,是一种有效的单样本人脸识别算法。     

二值图像中基于陡变度的拐角点集检测方法

文章认为目前流行的拐角点检测方法有三个缺点：一是在数字图像空间中曲率存在计算误区,因而用曲率定位拐角点不合适;二是导致图像边缘产生拐角的不仅有单点,还有点集,因此不求拐角点集是不妥的;三是大曲率点不等价于拐角点。鉴于此,文章提出一种基于陡变度的拐角点集检测方法,其思想是：在二值图像中,图像边缘可看成是一维流形,陡变点集将一维流形分割成大小不等的光滑流形段,如果光滑流形通过该陡变点集后方向发生急剧改变,则此陡变点集是拐角点集。通过实验对比,文章中提出的算法检测结果优于目前流行算法的检测结果。