一种基于贪心EM算法学习GMM的聚类算法

传统的聚类算法如k-means算法需要一些先验知识来确定初始参数,初始参数的选择通常会对聚类结果生产很大的影响.提出一种新的基于模型的聚类算法,通过优化给定的数据和数学模型之间的适应性发现数据对模型的最好匹配.由于高斯混合模型可以看作是一种"软分配聚类"方法,该算法结合一种贪心的EM算法来学习高斯混合模型(GMM),由贪心EM算法实现高斯混合模型结构和参数的自动学习,而不需要先验知识.这种聚类算法可以克服k-means等算法的缺点,实验结果表明该算法具有更好的聚类效果.     

一种快速、鲁棒的有限高斯混合模型聚类算法

有限混合模型聚类是一种基于概率模型的有效聚类方法。针对高斯混合模型的聚类算法,分别对模型的成分混合系数及样本所属成分的概率系数施加熵惩罚算子,实现对模型成分数的两级控制,快速消除无效成分,使算法能在很少的迭代次数内收敛到确定解。传统算法对初始值(成分数目c需事先指定)的设置非常敏感,容易导致EM算法陷入局部最优解或收敛到解空间的边界,而文中的算法对初始值的设定没有特殊的要求,实验证明其具有很好的鲁棒性。     

基于EM算法的高斯混合模型参数估计

讨论在一般的混合分布条件下,用EM算法,在最小熵原理的优化准则下的数据拟合问题。简单推导有限混合高斯分布的EM算法,并针对其收敛速度慢的缺点设计一种有效的选取参数初始值的方法。实验结果表明,该方法有助于EM算法以较快的速度在参数真值附近收敛。     

高斯混合模型聚类中EM算法及初始化的研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值。EM算法收敛的优劣很大程度上取决于其初始参数。运用EM算法来实现高斯混合模型聚类,如何初始化EM参数便成为一个关键的问题。在比较其他的初始化方法的基础上,引入“binning”法来初始化EM。实验结果表明,应用binning法来初始化EM的高斯混合模型聚类优于其它传统的初始化方法。     

基于EM算法的高斯混合模型参数估计

讨论在一般的混合分布条件下,用EM算法,在最小熵原理的优化准则下的数据拟合问题。简单推导有限混合高斯分布的EM算法．并针对其收敛速度慢的缺点设计一种有效的选取参数初始值的方法。实验结果表明,该方法有助于EM算法以较快的速度在参数真值附近收敛。     

双重高斯混合模型的EM算法的聚类问题研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值.半监督聚类是利用少部分标签的数据辅助大量未标签的数据进行的聚类分析.文章介绍了一种基于双重高斯混合模型的EM算法,在无监督学习中增加一些已标记的样本,利用已标记的样本得到初始参数,研究了半监督条件下的双重高斯混合模型的EM聚类算法.实验表明,该算法较无监督学习而言,提升了样本的识别率,有良好的聚类性能.这种算法模型也可以作为一种基础模型,具有一定的应用领域.     

基于鲁棒高斯混合模型的加速EM算法研究*

针对传统鲁棒高斯混合模型EM算法存在模型成分参数难以精确获取最优解以及收敛速度随样本数量的增加而快速降低等问题,提出了一种基于鲁棒高斯混合模型的加速EM算法。该算法采用隐含参量信息熵原理对高斯模型分量个数进行挑选以及使用Aitken加速方法减少算法的迭代次数,当接近最优解时,EM步长的变化极为缓慢,这时使用Broyden对称秩1校正公式进行校正,使算法快速收敛,从而能够在很少的迭代次数内精确获取高斯混合模型的模型成分数。文中算法通过与传统鲁棒EM算法和无监督的EM算法的聚类结果进行比较,实验证明该算法对初始值的设定并不敏感(成分数c无需预先设定),并且能够降低算法运算时间,提高聚类模型成分数(类簇)的正确率。     

高斯混合模型参数估值算法的优化

EM算法是高斯混合模型参数估值的常用方法,该算法有局部收敛的特性,易造成模型的参数估计对于初值较为敏感,往往得到一个局部的最优值.为了对EM算法进行优化,文中将具有全局寻优和并行搜索特性的遗传算法与EM算法相结合,对其加以改进,并用到语音转换过程之中,最后通过仿真实验分析了算法的性能,结果表明使用优化算法得出的高斯混合模型所转换出来的语音,相对于传统EM估计算法得出的高斯混合模型所转换出来的语音,具有较小的失真测度值,证明使用该优化算法能够改善转换后的语音质量.     

一种基于高斯混合模型的距离图像分割算法

提出了一种基于表面法向的高斯混合模型的距离图像分割算法.它充分利用了表面法向高斯混合模型的物理含义,使数据聚类的次数减少,并利用Expectation-Maximization(EM)算法估计出的模型参数计算模型的后验概率实现了自动模型选择.算法针对两种距离相机的60幅真实距离图像进行了实验.将实验结果与几个流行的分割算法进行了客观比较.     

用快速EM算法实现小波系数的高斯混合分布模型

提出了一种小波系数的高斯混合分布模型。该模型用两个分量的高斯混合分布来拟合小波域每个高频频带系数的分布:其中,先验概率小方差大的分布代表了少量幅值较大的小波系数;先验概率大方差小的分布代表了大量幅值较小的小波系数。该文采用基于特征的快速算法完成对高斯混合分布参数的求解。实验结果证明了模型的有效性。     

动态场景的自适应高斯混合模型的研究

混合高斯模型能够拟合像素颜色值分布、跟踪复杂的场景变化,基于它的算法已经成为对视频序列实施背景减法时的一个标准背景建模方法。分析了GMM算法的理论框架,提出了算法改进的两个方面：模型参数更新和BG/FG分类决策。在综述各种已有的算法的基础上,从学习因子控制、模态个数调节、算法评价以及算法初始化等几个方面展开分析。这些分析结果将为后续研究提供思路和方向。     

基于[t]分布混合模型的半监督网络流分类方法

针对传统高斯分布容易受到数据样本边缘值和离群点噪声的影响,改用t分布替代原有的高斯混合模型,并使用期望最大化（Expectation Maximization,EM）算法对网络流数据样本进行t分布混合模型的建模。为降低EM算法的迭代次数,对t分布混合模型进行了改进,用理论和实验验证了算法的有效性,并对网络多媒体业务流进行了分类研究。实验表明,提出的算法有较高的分类准确率,拟合的模型要优于传统的K-Means算法和传统的高斯混合模型的EM算法。     

融合密度峰值的高斯混合模型聚类算法

针对高斯混合模型（GMM）聚类算法对初始值敏感且容易陷入局部极小值的问题,利用密度峰值（DP）算法全局搜索能力强的优势,对GMM算法的初始聚类中心进行优化,提出了一种融合DP的GMM聚类算法（DP-GMMC）。首先,基于DP算法寻找聚类中心,得到混合模型的初始参数;其次,采用最大期望（EM）算法迭代估计混合模型的参数;最后,根据贝叶斯后验概率准则实现数据点的聚类。在Iris数据集下,DP-GMMC聚类准确率可达到96.67%,与传统GMM算法相比提高了33.6个百分点,解决了对初始聚类中心依赖的问题。实验结果表明,DP-GMMC对低维数据集有较好的聚类效果。     

A Greedy EM Algorithm for Gaussian Mixture Learning

Learning a Gaussian mixture with a local algorithm like EM can be difficult because (i) the true number of mixing components is usually unknown, (ii) there is no generally accepted method for parameter initialization, and (iii) the algorithm can get trapped in one of the many local maxima of the likelihood function. In this paper we propose a greedy algorithm for learning a Gaussian mixture which tries to overcome these limitations. In particular, starting with a single component and adding components sequentially until a maximum number k, the algorithm is capable of achieving solutions superior to EM with k components in terms of the likelihood of a test set. The algorithm is based on recent theoretical results on incremental mixture density estimation, and uses a combination of global and local search each time a new component is added to the mixture. This revised version was published online in August 2006 with corrections to the Cover Date.     

基于分裂EM算法的GMM参数估计

期望最大化(Expectation Maximization,EM)算法是一种求参数极大似然估计的迭代算法,常用来估计混合密度分布模型的参数。EM算法的主要问题是参数初始化依赖于先验知识且在迭代过程中容易收敛到局部极大值。提出一种新的基于分裂EM算法的GMM参数估计算法,该方法从一个确定的单高斯分布开始,在EM优化过程中逐渐分裂并估计混合分布的参数,解决了参数迭代收敛到局部极值问题。大量的实验表明,与现有的其他参数估计算法相比,算法具有较好的运算效率和估算准确性。     

基于EM算法的混合模型医学图像分割

医学图像分割中的期望最大化(EM)算法在求解混合模型参数时存在局限性。为此,提出一种模糊约束的混合模型图像分割算法。该算法以像素的独立性假设为前提,在采用EM算法对模型参数进行求解的过程中,通过模糊集合论方法,引入像素空间信息。实验结果表明,该算法没有引入新的模型参数,能够保持独立混合模型的简单性,且具有自动模型选择能力,可以获得较理想的分割结果。     

A stochastic EM algorithm for a semiparametric mixture model

Recently, there has been a considerable interest in finite mixture models with semi-/non-parametric component distributions. Identifiability of such model parameters is generally not obvious, and when it occurs, inference methods are rather specific to the mixture model under consideration. Hence, a generalization of the EM algorithm to semiparametric mixture models is proposed. The approach is methodological and can be applied to a wide class of semiparametric mixture models. The behavior of the proposed EM type estimators is studied numerically not only through several Monte-Carlo experiments but also through comparison with alternative methods existing in the literature. In addition to these numerical experiments, applications to real data are provided, showing that the estimation method behaves well, that it is fast and easy to be implemented.     

基于EM算法的高斯混合型的织物疵点检测研究

为准确检测织物在生产过程产生的疵点,提出了一种基于EM算法的高斯混合模型的算法来实现织物疵点的自动检测。由于织物背景纹理信息对织物疵点检测影响较大,采用均值采样对其进行预处理来消除背景纹理的影响,用高斯混合模型对新得到的图像进行处理。在进行高斯混合模型计算时分为E步骤、M步骤。E步骤初始化参数,计算样本像素的后验概率,M步骤更新高斯混合模型中的各参数。根据计算各像素的后验概率判断各像素点应该属于疵点部分还是非疵点部分。实验结果证明该算法能检测、分割出较多种类的织物疵点,具有较好的有效性和可靠性。     

拉普拉斯混合分布语音模型研究

针对具有超重尾特性的语音信号,提出了混合拉普拉斯分布语音模型。从理论上探讨了混合拉普拉斯分布模型的参数估计,从原理与算法得以实现。通过最大期望（Expectation Maximization,EM）算法取得了良好效果。创新运用混合拉普拉斯模型研究语音信号处理。     

多元高斯混合模型脑MR图像去壳模型

将脑部组织从MR图像中提取出来已经成为脑部图像处理中的一个重要环节,它可以提高后继的脑组织定位、容积测量等处理的精确度。但由于脑MR图像往往具有偏移场、弱边界和强噪音,使得基于图像梯度信息的水平集模型很难得到真实解。高斯混合模型使用了图像全局信息,能较好地处理弱边界问题。但传统的高斯混合模型仅使用了灰度值分布信息,未对像素的位置进行考虑,这使得其在处理噪音图像时效果并不是很理想。利用图像多种信息构造新的信息场,使得由信息场构造的高斯混合模型更能降低偏移场、噪音等影响,同时防止曲线从弱边界泄漏。传统的高斯混合模型求解参数时,往往仅使用EM算法,易陷入局部最优。针对这个缺点,引入粒子群算法,并对其进行改进,使得改进的算法可以较快地得到精确解。对脑MR图像分割实验表明该模型可得到较好的分割效果。