双重高斯混合模型的EM算法的聚类问题研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值.半监督聚类是利用少部分标签的数据辅助大量未标签的数据进行的聚类分析.文章介绍了一种基于双重高斯混合模型的EM算法,在无监督学习中增加一些已标记的样本,利用已标记的样本得到初始参数,研究了半监督条件下的双重高斯混合模型的EM聚类算法.实验表明,该算法较无监督学习而言,提升了样本的识别率,有良好的聚类性能.这种算法模型也可以作为一种基础模型,具有一定的应用领域.     

联合手肘法和期望最大化的高斯混合聚类电力系统客户分群算法

为进一步提升电力系统客户的用户体验,针对现有聚类算法寻优能力差、紧凑性不足以及较难求解聚类数目最优值的问题,提出一种联合手肘法与期望最大化（EM）的高斯混合聚类算法,挖掘大量客户数据中的潜在信息。该算法通过EM算法迭代出良好的聚类结果,而针对传统的高斯混合聚类算法需要提前获取用户分群数量的缺点,利用手肘法合理找出客户的分群数量。案例分析表明,所提算法与层次聚类算法和K-Means算法相比,FM、AR指标的增幅均超过10%,紧凑度（CI）和分离度（DS）的降幅分别低于15%和25%,可见性能有较大提升。     

融合密度峰值的高斯混合模型聚类算法

针对高斯混合模型（GMM）聚类算法对初始值敏感且容易陷入局部极小值的问题,利用密度峰值（DP）算法全局搜索能力强的优势,对GMM算法的初始聚类中心进行优化,提出了一种融合DP的GMM聚类算法（DP-GMMC）。首先,基于DP算法寻找聚类中心,得到混合模型的初始参数;其次,采用最大期望（EM）算法迭代估计混合模型的参数;最后,根据贝叶斯后验概率准则实现数据点的聚类。在Iris数据集下,DP-GMMC聚类准确率可达到96.67%,与传统GMM算法相比提高了33.6个百分点,解决了对初始聚类中心依赖的问题。实验结果表明,DP-GMMC对低维数据集有较好的聚类效果。     

个体行为数据聚类的双重混合高斯模型算法

传统的基于概率的混合模型算法可以很好地解决个体行为数据的聚类问题,但是对于具有“多峰值”特征的行为数据则需要更精巧的方法。提出双重混合高斯模型算法(DualMGM)扩展了普通混合模型的概念,解决了多峰值特征的个体行为数据的聚类问题。DualMGM的算法复杂度是随数据量线性增长的,具有很好的可扩展性。     

基于密度峰值聚类的高斯混合模型算法

由于存在大量服从高斯分布的样本数据,采用高斯混合模型(Gaussian Mixture Models,GMM)对这些样本数据进行聚类分析,可以得到比较准确的聚类结果.通常采用EM算法(Expectation Maximization Algorithm)对GMM的参数进行迭代式估计.但传统EM算法存在两点不足:对初始聚...     

基于高斯混合模型的层次聚类算法

选择合适的聚类数和准确划分类间重叠的数据是聚类分析领域2个被广泛研究的问题.提出了一个基于高斯混合模型的层次聚类算法(HCGMM),该算法基于重叠度的衡量,而且不需要预先指定聚类数,能够很好地解决以上两个问题.算法根据高维空间中混合模型每2个组成成分之间的重叠情况自动运行或停止,从而准确划分类间重叠的数据,并自动确定聚类数.最后,通过标准的数据的测试,以及通过把它应用于不同类型的真实彩色图像分割表明,该算法是有效的,而且对噪声影响不敏感.把它和其他层次算法进行比较和分析,以证明该算法的优越性.     

基于高斯混合模型最大期望聚类的同时定位与地图构建数据关联

数据关联是移动机器人同时定位与地图构建(SLAM)中状态估计的前提和基础,针对当前联合兼容分支定界算法存在计算复杂度高、耗时长的问题,提出了基于高斯混合模型(GMM)最大期望聚类分组的SLAM数据关联算法.首先,为减少同一时刻参与关联的观测值数目,在局部区域内采用GMM最大期望聚类算法对当前时刻的观测值进行分组;其次,在各观测小组中采用联合兼容分支定界算法进行数据关联;最后,综合各观测小组的观测值同局部地图特征得到的关联解,得到最优的关联结果.仿真实验结果表明,基于高斯混合模型最大期望聚类分组的SLAM数据关联算法在保证数据关联准确度的前提下,计算复杂度得到了降低,缩短了运行时间.     

一种基于贪心EM算法学习GMM的聚类算法

传统的聚类算法如k-means算法需要一些先验知识来确定初始参数,初始参数的选择通常会对聚类结果生产很大的影响.提出一种新的基于模型的聚类算法,通过优化给定的数据和数学模型之间的适应性发现数据对模型的最好匹配.由于高斯混合模型可以看作是一种"软分配聚类"方法,该算法结合一种贪心的EM算法来学习高斯混合模型(GMM),由贪心EM算法实现高斯混合模型结构和参数的自动学习,而不需要先验知识.这种聚类算法可以克服k-means等算法的缺点,实验结果表明该算法具有更好的聚类效果.     

基于混合高斯模型的窄带目标跟踪方法

基于混合高斯模型的轨迹分布融合方法适用于窄带目标跟踪系统.这种算法针对宽带跟踪结果的不精确,目标模糊,窄带跟踪需要依赖人工实现的问题,提出了一种基于混合高斯模型的自动窄带目标跟踪技术.该方法首先将目标方位分布看做是混合高斯模型,利用期望最大化算法估计混合高斯模型中的参数,然后利用混合高斯模型对目标方位进行聚类,最后利用平均加权法对目标方位进行融合,得到清晰稳定的目标跟踪结果.     

基于快速求解高斯混合模型的流量聚类算法

基于聚类算法可以对多个属性聚类的特点,提出一种基于快速求解高斯混合模型的聚类算法,用于研究网络流量的分类,使其达到更佳的聚类效果。通过与其他算法比较,讨论了该种方法在流量聚类中的适用性。仿真结果表明,该方法聚类精度高,经过初始聚类中心后的EM算法用于求解GMM有较高的估算准确性,有效地提高了EM算法的收敛速度。     

一种快速、鲁棒的有限高斯混合模型聚类算法

有限混合模型聚类是一种基于概率模型的有效聚类方法。针对高斯混合模型的聚类算法,分别对模型的成分混合系数及样本所属成分的概率系数施加熵惩罚算子,实现对模型成分数的两级控制,快速消除无效成分,使算法能在很少的迭代次数内收敛到确定解。传统算法对初始值(成分数目c需事先指定)的设置非常敏感,容易导致EM算法陷入局部最优解或收敛到解空间的边界,而文中的算法对初始值的设定没有特殊的要求,实验证明其具有很好的鲁棒性。     

A Greedy EM Algorithm for Gaussian Mixture Learning

Learning a Gaussian mixture with a local algorithm like EM can be difficult because (i) the true number of mixing components is usually unknown, (ii) there is no generally accepted method for parameter initialization, and (iii) the algorithm can get trapped in one of the many local maxima of the likelihood function. In this paper we propose a greedy algorithm for learning a Gaussian mixture which tries to overcome these limitations. In particular, starting with a single component and adding components sequentially until a maximum number k, the algorithm is capable of achieving solutions superior to EM with k components in terms of the likelihood of a test set. The algorithm is based on recent theoretical results on incremental mixture density estimation, and uses a combination of global and local search each time a new component is added to the mixture. This revised version was published online in August 2006 with corrections to the Cover Date.     

基于协方差的高斯混合模型参数学习算法

对混合高斯模型参数估计问题的算法通常是基于期望最大(Expectation Maximization)给出的。在混合高斯模型的因素协方差矩阵已知、因素各分量独立的前提下,给出了基于协方差矩阵的机器学习算法,简称CVB(Covariance Based)算法,并进行了一定的数学分析。最后给出了与期望最大算法的实验结果比较。实验结果表明,在该条件下,基于协方差的算法优于期望最大算法。     

大间隔高斯混合模型的快速参数更新算法

针对大间隔高斯混合模型基于LBFGS参数更新算法收敛速度慢的不足,提出一种快速参数更新算法。采用构造弱意义辅助函数的方法,得到扩展Baum-Welch算法形式的快速参数更新公式。利用大词汇汉语语音库上的声调分类任务来验证训练速度与分类性能。实验结果表明快速参数更新算法只需数次迭代就能收敛至最优结果,较LBFGS优化方法在识别性能相当的情况下具有更快的训练速度。     

基于改进高斯核度量和KPCA的数据聚类新方法

大多数超椭球聚类（hyper-ellipsoidal clustering,HEC）算法都使用马氏距离作为距离度量,已经证明在该条件下划分聚类的代价函数是常量,导致HEC无法实现椭球聚类.本文说明了使用改进高斯核的HEC算法可以解释为寻找体积和密度都紧凑的椭球分簇,并提出了一种实用HEC算法-K-HEC,该算法能够有效地处理椭球形、不同大小和不同密度的分簇.为实现更复杂形状数据集的聚类,使用定义在核特征空间的椭球来改进K-HEC算法的能力,提出了EK-HEC算法.仿真实验证明所提出算法在聚类结果和性能上均优于K-means算法、模糊C-means算法、GMM-EM算法和基于最小体积椭球（minimum-volume ellipsoids,MVE）的马氏HEC算法,从而证明了本文算法的可行性和有效性.     

一种基于数据流的软子空间聚类算法

针对高维数据的聚类研究表明,样本在不同数据簇往往与某些特定的数据特征子集相对应.因此,子空间聚类技术越来越受到关注.然而,现有的软子空间聚类算法都是基于批处理技术的聚类算法,不能很好地应用于高维数据流或大规模数据的聚类研究中.为此,利用模糊可扩展聚类框架,与熵加权软子空间聚类算法相结合,提出了一种有效的熵加权流数据软子空间聚类算法——EWSSC(entropy-weighting streaming subspace clustering).该算法不仅保留了传统软子空间聚类算法的特性,而且利用了模糊可扩展聚类策略,将软子空间聚类算法应用于流数据的聚类分析中.实验结果表明,EWSSC 算法对于高维数据流可以得到与批处理软子空间聚类方法近似一致的实验结果.     

基于数据流的任意形状聚类算法

详细分析了数据流聚类算法CluStream的不足之处,如对非球形的聚类效果不好、对周期性数据的聚类变化反映不完整等,并针对这些不足之处提出了一种采用空间分割、组合以及按密度聚类的算法ACluStream.实验结果表明,ACluStream在准确度和速度上都比CluStream有较大的提高.     

一种半监督K均值多关系数据聚类算法

提出了一种半监督K均值多关系数据聚类算法.该算法在K均值聚类算法的基础上扩展了其初始类簇的选择方法和对象相似性度量方法,以用于多关系数据的半监督学习.为了获取高性能,该算法在聚类过程中充分利用了标记数据、对象属性及各种关系信息.多关系数据库Movie上的实验结果验证了该算法的有效性.     

结合柯西核的分类型数据密度峰值聚类算法

密度峰值聚类算法在处理分类型数据时难以产生较好的聚类效果。针对该现象,详细分析了其产生的原因：距离计算的重叠问题和密度计算的聚集问题。同时为了解决上述问题,提出了一种面向分类型数据的密度峰值聚类算法（Cauchy kernel-based density peaks clustering for categorical data,CDPCD）。算法首先指出分类型数据距离度量过程中有序特性（分类型数据属性值之间的顺序关系）鲜有考虑的现状,进而提出一种基于概率分布的加权有序距离度量来缓解重叠问题。通过结合柯西核函数,在共享最近邻密度峰值聚类算法基础上重新评估数据密度值,改进了密度计算和二次分配方式,增强了密度多样性,降低了聚集问题带来的影响。多个真实数据集上的实验结果表明,相较于传统的基于划分和密度的聚类算法,CDPCD都取得了更好的聚类结果。     

区间型数据的模糊c均值聚类算法

提取区间型数据的特征值,给出适用于区间型数据模糊聚类的FCM算法族(IFCM)。该算法适用于不同特征样本数据的模糊聚类运算,并可对聚类结果进行优化。聚类效果的仿真比较表明,IFCM聚类的平均失真度比基于欧氏距离的FCM聚类算法低6.81%。由于距离定义的合理性,IFCM可以根据区间型数据的不同特点调整特征值的聚类权重,并推广至多维类型数据的模糊聚类。