EM算法在统计自然语言处理中的应用

在统计自然语言处理中会经常遇到一类参数估值问题,就是当观察数据为不完全数据时如何求解参数的最大似然估计,EM算法就是解决这类问题的经典算法.给出了EM算法的基本框架,结合HMM和PCFG模型给出如何应用EM算法求解参数的极大似然估计,讨论了EM算法的优点和不足之处.     

改进的Online EM背景减除算法

为有效提取复杂场景中的运动前景,提出基于贝叶斯理论的Dirichlet共轭先验,结合在线最大似然估计(Online EM)改进基于高斯混合模型参数的背景减除算法.改进算法避免了陷入局部最值,在线自适应地调整高斯个数,并生成运动全景图,实验结果表明,该算法能有效提高前景检测率.     

基于粒子滤波的非线性系统静态参数估计方法*

针对基于滤波方法的最大似然参数估计步长序列过于单一,算法收敛缓慢并很容易收敛于局部最优解的问题,提出了基于似然权值的在线EM参数估计算法(LWOEM)。通过粒子滤波方法实时估计系统的状态值变化,结合最大似然方法计算静态参数的点估计,然后通过计算更新参数的似然值来动态更新步长序列.与在线EM参数估计算法(OEM)的实验结果比较,表明该算法具有更好的适应性和收敛效果。     

基于分裂EM算法的GMM参数估计

期望最大化(Expectation Maximization,EM)算法是一种求参数极大似然估计的迭代算法,常用来估计混合密度分布模型的参数。EM算法的主要问题是参数初始化依赖于先验知识且在迭代过程中容易收敛到局部极大值。提出一种新的基于分裂EM算法的GMM参数估计算法,该方法从一个确定的单高斯分布开始,在EM优化过程中逐渐分裂并估计混合分布的参数,解决了参数迭代收敛到局部极值问题。大量的实验表明,与现有的其他参数估计算法相比,算法具有较好的运算效率和估算准确性。     

基于混合微粒群算法的说话人识别

为了解决传统高斯混合模型(GMM)对初值敏感,在实际训练中极易得到局部最优参数的问题,提出了一种采用微粒群算法优化GMM参数的新方法。该方法将最大似然估计融入到微粒群算法迭代过程中,形成了新的混合算法。它利用微粒群算法的全局优化性及最大似然估计的局部寻优性求解高斯混合模型的参数,以提高参数精度。说话人辨认实验表明,与传统的方法相比,新方法可以得到更优的模型参数,使得系统的识别率进一步提高。     

一种基于改进得分分布的查询项特定阈值方法

为提高语音查询项检索系统的准确率,提出一种基于改进得分分布的查询项特定阈值方法。在系统判决阶段,根据每个查询项的后验得分分布设定不同阈值。后验得分分布用指数混合模型描述,通过无监督的最大期望( EM)算法估计模型参数,最后根据贝叶斯最小风险准则计算阈值。针对EM算法对初始值较为敏感的问题,初始化时采用K-means聚类算法代替随机初始化方法,首先将候选结果得分分为两类,然后计算每类的先验分布并用最大似然法估计模型参数的初始值。实验结果表明该阈值方法有更好的检索性能。     

动态模糊极大似然估计算法

在机器学习中,一个广泛的应用是对模型的参数进行估计,即极大似然估计(MLE),EM算法是根据点估计中的MLE改进的一种迭代算法,是求极大似然估计的一种强有力的工具,但它收敛速度较慢,于是引入α-EM算法,克服了EM算法的缺陷.由于学习的过程中可能存在着大量的缺失数据及其动态模糊性,给出基于不完全数据的动态模糊极大似然估计算法并给出实例验证.     

并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

基于改进模拟退火算法的软件可靠性模型参数估计方法

为提升现有软件可靠性模型的拟合性能和求解精度,结合软件可靠性模型求解特征,提出一种改进的模拟退火算法。在此基础上,提出基于改进模拟退火算法的软件可靠性模型参数求解方法(简称为MSAE法),并将新方法应用于4组失效数据集。工程应用结果表明,与最大似然估计(MLE)法、和声搜索(HS)算法和蚁群(AC)算法相比,MSAE法可有效改善软件可靠性模型参数求解不收敛的情况,并且可以有效提升现有软件可靠性模型的拟合性能。     

双重高斯混合模型的EM算法的聚类问题研究

EM算法是参数估计的重要方法,其算法核心是根据已有的数据来迭代计算似然函数,使之收敛于某个最优值.半监督聚类是利用少部分标签的数据辅助大量未标签的数据进行的聚类分析.文章介绍了一种基于双重高斯混合模型的EM算法,在无监督学习中增加一些已标记的样本,利用已标记的样本得到初始参数,研究了半监督条件下的双重高斯混合模型的EM聚类算法.实验表明,该算法较无监督学习而言,提升了样本的识别率,有良好的聚类性能.这种算法模型也可以作为一种基础模型,具有一定的应用领域.     

求解柔性流水车间调度问题的高效分布估算算法

针对最小化最大完工时间的柔性流水车间调度,利用事件建模思想,线性化0-1混合整数规划模型,使得小规模调度问题通过Cplex可以准确求解,同时设计了高效分布估算算法来求解大规模调度问题.该算法采用的是一种新颖的随机规则解码方式,工件排序按选定的规则安排而机器按概率随机分配.针对分布估算算法中的概率模型不能随种群中个体各位置上工件的更新而自动调整的缺点,提出了自适应调整概率模型,该概率模型能提高分布估算算法的收敛质量和速度.同时为提高算法局部搜索能力和防止算法陷入局部最优,设计了局部搜索和重启机制.最后,采用实验设计方法校验了高效分布估算算法参数的最佳组合.算例和实例测试结果都表明本文提出的高效分布估算算法在求解质量和稳定性上均优于遗传算法、引力搜索算法和经典分布估算算法.     

利用改进遗传算法的参数估计

基于极大似然法的参数估计实质上是一个复杂的非线性优化问题，传统的优化方法计算效率较低且容易陷入局部极值。而遗传算法是一种有导向的随机搜索方法，能以较大的概率收敛到全局最优解。本文将单纯形法引入到并行遗传算法中，提出了一种改进的遗传算法，可以有效地提高算法的收敛速度、防止搜索过程中的早熟现象。应用于系统初始状态未知时的参数估计问题，获得了满意的结果。     

Maximum likelihood estimation of Gaussian mixture models using stochastic search

Gaussian mixture models (GMM), commonly used in pattern recognition and machine learning, provide a flexible probabilistic model for the data. The conventional expectation–maximization (EM) algorithm for the maximum likelihood estimation of the parameters of GMMs is very sensitive to initialization and easily gets trapped in local maxima. Stochastic search algorithms have been popular alternatives for global optimization but their uses for GMM estimation have been limited to constrained models using identity or diagonal covariance matrices. Our major contributions in this paper are twofold. First, we present a novel parametrization for arbitrary covariance matrices that allow independent updating of individual parameters while retaining validity of the resultant matrices. Second, we propose an effective parameter matching technique to mitigate the issues related with the existence of multiple candidate solutions that are equivalent under permutations of the GMM components. Experiments on synthetic and real data sets show that the proposed framework has a robust performance and achieves significantly higher likelihood values than the EM algorithm.     

基于多注释器标注下的标签排序学习方法

现有的排序学习概念假设每个训练样本都与实例和可靠的标签相关联,但这种假设对保持标签的真实性并不适用。因此,当每个训练实例都被多个可能不可靠的注释器标注时,可以通过列表排序学习从多个注释器中获得的众包标签来进行排序学习功能。结合Mallows模型和Plackett-Luce(P-L)模型,提出一种新的概率排序模型。将注释器的辅助信息作为约束函数融合到参数估计中,并使用最大似然估计方法学习得到参数集。通过最大期望算法(EM)迭代更新参数集,得到最优注释器的专业知识程度的参数集和排名函数参数。实验结果显示,最大似然估计方法明显优于直接排序方法,辅助信息的加入有助于提高注释器的排名功能和专业知识程度。     

基于因果影响独立模型的贝叶斯网络参数学习

基于因果影响独立模型及其中形成的特定上下文独立关系,提出一种适于样本学习的贝叶斯网络参数学习算法。该算法在对局部概率模型降维分解的基础上,通过单父节点条件下的子节点概率分布来合成局部结构的条件概率分布,参数定义复杂度较低且能较好地处理稀疏结构样本集。实验结果表明,该算法与标准最大似然估计算法相比,能充分利用样本信息,具有较好的学习精度。     

TRUST-TECH-based expectation maximization for learning finite mixture models

In spite of the initialization problem, the Expectation-Maximization (EM) algorithm is widely used for estimating the parameters of finite mixture models. Most popular model-based clustering techniques might yield poor clusters if the parameters are not initialized properly. To reduce the sensitivity of initial points, a novel algorithm for learning mixture models from multivariate data is introduced in this paper. The proposed algorithm takes advantage of TRUST-TECH (TRansformation Under STability-reTaining Equilibra CHaracterization) to compute neighborhood local maxima on likelihood surface using stability regions. Basically, our method coalesces the advantages of the traditional EM with that of the dynamic and geometric characteristics of the stability regions of the corresponding nonlinear dynamical system of the log-likelihood function. Two phases namely, the EM phase and the stability region phase, are repeated alternatively in the parameter space to achieve improvements in the maximum likelihood. The EM phase obtains the local maximum of the likelihood function and the stability region phase helps to escape out of the local maximum by moving towards the neighboring stability regions. The algorithm has been tested on both synthetic and real datasets and the improvements in the performance compared to other approaches are demonstrated. The robustness with respect to initialization is also illustrated experimentally.     

求解不相关并行机调度的一种自适应分布估计算法

针对不相关并行机调度问题, 提出一种基于信息熵的自适应分布估计算法. 根据问题特性, 设计了面向工件机器分配的概率模型及其基于增量学习的更新方式, 学习速率基于信息熵进行调整. 为了增强算法局部寻优能力, 采用基于关键机器的邻域结构进行局部搜索; 同时讨论了信息熵与学习速率的关系, 并探讨了关键参数对算法性能的影响. 基于标准算例的测试结果与算法比较, 验证了学习速率的自适应调整机制以及所提出算法的有效性.     

基于改进退化隐马尔可夫模型的设备健康诊断与寿命预测研究

针对隐马尔可夫模型在进行设备健康诊断时与实际存在较大偏差的问题,提出了一种以似幂关系加速退化为核心的改进退化隐马尔可夫模型(DGHMM).首先,引入退化因子描述设备衰退过程,提出的似幂关系加速退化较常规指数式加速退化而言,能更好地描述设备服役期间随着役龄增加性能的逐步下降.其次,以全局搜索能力相对较强的改进遗传算法代替常规EM算法进行参数估计,克服了EM算法易陷入局部最优的局限性.同时,针对隐马尔可夫模型时间上须服从指数分布而不能直接用于寿命预测的局限性问题,提出了一种以近似算法与Viterbi算法为基础的贪婪近似法,以寻求最大概率剩余观测为目的,动态地寻求最大概率剩余状态路径,对设备剩余寿命进行预测.最后,通过美国卡特彼勒公司液压泵数据集对所提出的方法进行验证评价.结果表明,基于改进退化隐马尔可夫模型的设备健康诊断与寿命预测方法在描绘设备退化、设备状态诊断准确率方面更加有效,在剩余寿命预测上亦为可行.     

On-line EM Variants for Multivariate Normal Mixture Model in Background Learning and Moving Foreground Detection

The unsupervised learning of multivariate mixture models from on-line data streams has attracted the attention of researchers for its usefulness in real-time intelligent learning systems. The EM algorithm is an ideal choice for iteratively obtaining maximum likelihood estimation of parameters in presumable finite mixtures, comparing to some popular numerical methods. However, the original EM is a batch algorithm that works only on fixed datasets. To endow the EM algorithm with the capability to process streaming data, two on-line variants are studied, including Titterington’s method and a sufficient statistics-based method. We first prove that the two on-line EM variants are theoretically feasible for training the multivariate normal mixture model by showing that the model belongs to the exponential family. Afterward, the two on-line learning schemes for multivariate normal mixtures are applied to the problems of background learning and moving foreground detection. Experiments show that the two on-line EM variants can efficiently update the parameters of the mixture model and are capable of generating reliable backgrounds for moving foreground detection.