连续PH分布数据拟合的确定性退火EM算法

针对目前连续PH分布数据拟合EM(Expectation-Maximization)算法存在的初值敏感问题,提出运用确定性退火EM算法进行连续PH分布数据拟合,给出了详细的理论推导,并通过两个拟合实例与标准EM算法进行了对比.对比结果表明所提出的方法可以有效地避免初值选择的不同对EM算法结果的影响,减小陷入局部最优的可能性,能得到比标准EM算法更好的结果.     

PH分布数据拟合的数值加速EM算法

摘 要：针对Phase-type(PH)分布数据拟合EM算法收敛速度慢的问题,提出一种数值加速EM算法,通过增加每一步EM迭代的参数变化量达到加速的目的。用4个拟合实例与标准EM算法拟合进行对比,结果表明,该加速EM算法简单实用,保证了算法的收敛性,有效提高了PH分布数据拟合EM算法的收敛速度。     

基于EM算法的ACPH分布数据拟合方法

ACPH分布继承了PH分布具有良好特性的特点,对其进行数据拟合的难度比PH大大降低。针对ACPH分布缺乏数值稳定拟合算法的问题,提出采用EM算法解决该问题,给出了ACPH分布数据拟合EM算法的理论推导,并通过3个拟合实例验证了算法的有效性。     

基于[t]分布混合模型的半监督网络流分类方法

针对传统高斯分布容易受到数据样本边缘值和离群点噪声的影响,改用t分布替代原有的高斯混合模型,并使用期望最大化（Expectation Maximization,EM）算法对网络流数据样本进行t分布混合模型的建模。为降低EM算法的迭代次数,对t分布混合模型进行了改进,用理论和实验验证了算法的有效性,并对网络多媒体业务流进行了分类研究。实验表明,提出的算法有较高的分类准确率,拟合的模型要优于传统的K-Means算法和传统的高斯混合模型的EM算法。     

基于EM和GMM的朴素贝叶斯岩性识别

朴素贝叶斯分类器可以应用于岩性识别.该算法常使用高斯分布来拟合连续属性的概率分布,但是对于复杂的测井数据,高斯分布的拟合效果欠佳.针对该问题,提出基于EM算法的混合高斯概率密度估计.实验选取苏东41-33区块下古气井的测井数据作为训练样本,并选取44-45号井数据作为测试样本.实验采用基于EM算法的混合高斯模型来对测井数据变量进行概率密度估计,并将其应用到朴素贝叶斯分类器中进行岩性识别,最后用高斯分布函数的拟合效果作为对比.结果表明混合高斯模型具有更好的拟合效果,对于朴素贝叶斯分类器进行岩性识别的性能有不错的提升.     

参数估计方法对比研究

为了寻求该参数估计问题的最佳解决方法,设计了一种对比分析平均秩次法和EM算法优劣性的蒙特卡罗仿真方法,以威布尔分布为例,分别用平均秩次法和EM算法进行随机删失数据下参数估计,在不同样本量、不同删失比情况下对比分析两种估计方法计算结果的均方差的大小.仿真结果表明,在不同样本量、删失比和威布尔分布形状参数下的随机删失数据,EM算法的计算结果比平均秩次法更好,结果更加接近真实值.说明在威布尔分布下,EM算法应该被优先采用.     

带隐变量的回归模型EM算法

带有隐变量的回归模型具有非常广泛的应用场合,隐回归模型的参数求解问题依赖于自变量的分布假设。基于自变量的beta分布的假设条件,给出了隐回归模型的EM算法,详细地推导了模型中的参数求解过程,给出了使用牛顿法求解beta分布参数的算法,并提出一个合适的初值选择算法。在模拟数据和真实数据的基础上进行了详细的比较性试验,结果表明,对具有不同分布特征的因变量观察值,EM算法能够有效地求解隐回归模型的参数。     

基于EM和贝叶斯网络的丢失数据填充算法

实际应用中存在大量的丢失数据的数据集,对丢失数据的处理已成为目前分类领域的研究热点。分析和比较了几种通用的丢失数据填充算法,并提出一种新的基于EM和贝叶斯网络的丢失数据填充算法。算法利用朴素贝叶斯估计出EM算法初值,然后将EM和贝叶斯网络结合进行迭代确定最终更新器,同时得到填充后的完整数据集。实验结果表明,与经典填充算法相比,新算法具有更高的分类准确率,且节省了大量开销。     

基于Bayesian的期望最大化方法——BEM算法

通过对标准EM算法收敛于局部极值的原因进行分析,提出了基于Bayesian方法的神经网络新学习算法－－BEM算法。该算法解决了标准EM算法的上述缺陷,同时还可防止标准EM算法Overfitting情况的出现,并可防止标准EM算法有时只响应第一模式而失去泛化能力情况的出现。实验结果表明了该算正确性和有效性。该算法对研究和发展标准EM学习算法理论具有一定的学习意义。     

结合变尺度法的改进类电磁机制算法

标准类电磁机制算法处理连续函数优化问题时存在最优参数选取和收敛速度问题.数值实验研究表明类电磁算法不具备初值敏感性,并在搜索后期算法收敛速度缓慢甚至可能出现停滞.数值实验分析指出粒子之间达成动态力平衡状态是造成算法停滞的可能原因之一,提出一种解决策略是摒弃EM算法后期搜索过程,结合变尺度法对EM算法前期搜索到的近似最优值进行二次优化.该混合计算方法将二者的优势相结合,实验结果表明新方法在保证计算实时性的同时,取得了较高的计算精度.最后,对EM算法本身构造提出一些改进意见,并初步建立用于连续函数优化的EM算法计算框架,为后续更深入的研究EM算法提供参考.     

光笔式视觉检测系统的二次曲面拟合研究

光笔式视觉检测系统以其操作简单,便携性强,测量精度高,测量范围可扩展等优点,在先进制造工业中有着很好的应用。研究了如何将测量数据转换为二次曲面的非线性拟合问题,提出了一种二次曲面非线性拟合初值估计方法,并借助于＂忠实距离＂的概念,实现了二次曲面参数的非线性最小二乘求取。初值估计方法仅依赖于测量点的法向量,简单可行。通过拟合结果和真实参数进行对比与分析,验证了文中所述系统和算法的可行性。     

密度加权孪生支持向量回归机

为了使数据集的内在分布更好地影响训练模型,提出一种密度加权孪生支持向量回归机算法.该算法通过k近邻算法计算获得每个数据点基于数据密度分布的密度加权值,并将密度加权值引入到标准孪生支持向量回归机算法中.算法能够很好地反映训练数据集的内在分布,使数据点准确影响训练模型.通过6个UCI数据集上的实验结果分析验证了所提出算法的有效性.     

满足LDP的多维数据联合分布估计

多维数据的发布与分析可以产生巨大的价值,但在数据收集阶段时常发生隐私泄露的问题.传统的中心化差分隐私保护方法要求一个完全可信的第三方数据收集者来收集数据,但在现实中很难找到一个完全可信的第三方数据收集者.随着属性维度的增加,数据收集者的求精处理工作(联合分布的计算)也成了一个亟待解决的问题.针对上述问题提出一种适用于多值数据的本地化差分隐私保护算法(RR-LDP),引入一元编码和瞬时随机响应技术用来在数据收集阶段保护个人隐私,降低了通信开销;在满足LDP的情况下,结合期望最大化(EM)算法和LASSO回归模型,提出了高效的多维数据联合分布估计算法(LREMH).该算法用LASSO回归模型估计初始值,用EM算法进行迭代计算.理论分析和实验结果表明LREMH算法在精度和效率之间取得了平衡.     

曲线拟合的逆向云改进算法

逆向云发生器是从定量数据到定性概念的转化模型。在逆向云生成算法中, Ex 的估计值对En和He的估计有比较大的影响,直接使用样本均值进行参数估计会导致较大的误差。本文通过深入研究云模型的相关算法,对逆向云生成算法进行改进。文中利用样本均值作为非线性拟合函数的初值,把拟合函数的返回参数作为Ex的估计值,改善了随机选取拟合初值造成结果不稳定现象,实现对逆向云参数优化。通过与其他几种逆向云生成算法进行对比,仿真结果表明：改进后的逆向云生成算法有较好的稳定性并且有较高的精度。     

一种基于传感器温度补偿的双指数函数拟合算法

温度漂移是影响传感器可靠性、精度和使用效能的关键因素,是制约加速度计精度提高的瓶颈。提出一种基于传感器温度补偿的双指数函数拟合算法,一方面采用双指数函数对非线性的温度系数曲线进行补偿,另一方面在双指数函数拟合的算法中,提出一种具有高精度初值的交替迭代法。该方法首先利用四组数据点计算出高精度的初值,再使用交替迭代法优化计算结果,明显改善了传统交替迭代法拟合在初值选取不当时造成的迭代不收敛、精度较低、迭代次数较多的问题。此外双指数函数模型可以采用CORDIC算法集成到硬件中,因此具有工程实用价值。     

基于密度峰值聚类的高斯混合模型算法

由于存在大量服从高斯分布的样本数据,采用高斯混合模型(Gaussian Mixture Models,GMM)对这些样本数据进行聚类分析,可以得到比较准确的聚类结果.通常采用EM算法(Expectation Maximization Algorithm)对GMM的参数进行迭代式估计.但传统EM算法存在两点不足:对初始聚类中心的取值比较敏感;迭代式参数估计的迭代终止条件是相邻两次估计参数的距离小于给定的阈值,这不能保证算法收敛于参数的最优值.为了弥补上述不足,提出采用密度峰值聚类(Density Peaks Clustering,DPC)来初始化EM算法,以提高算法的鲁棒性,采用相对熵作为EM算法的迭代终止条件,实现对GMM算法参数值的优化选取.在人工数据集及UCI数据集上的对比实验表明,所提算法不但提高了EM算法的鲁棒性,而且其聚类结果优于传统算法.尤其在服从高斯分布的数据集上的实验结果显示,所提算法大幅提高了聚类精度.     

基于EM算法的高斯混合模型在鸢尾花数据集的应用

高斯混合模型是一种含隐变量的概率图模型,其参数通常由EM算法迭代训练得到.本文在简单推导高斯混合模型的EM算法后,将使用高斯混合模型对鸢尾花(iris)数据集进行分类判别.同时,针对EM算法受初始值影响大的问题,使用了K均值聚类算法作为其初始值的估计方法.在得到K均值聚类算法和EM算法的分类判别结果后,对比两种算法的判...     

基于EM算法的高斯混合模型参数估计

讨论在一般的混合分布条件下,用EM算法,在最小熵原理的优化准则下的数据拟合问题。简单推导有限混合高斯分布的EM算法,并针对其收敛速度慢的缺点设计一种有效的选取参数初始值的方法。实验结果表明,该方法有助于EM算法以较快的速度在参数真值附近收敛。     

基于EM算法的高斯混合模型参数估计

讨论在一般的混合分布条件下,用EM算法,在最小熵原理的优化准则下的数据拟合问题。简单推导有限混合高斯分布的EM算法．并针对其收敛速度慢的缺点设计一种有效的选取参数初始值的方法。实验结果表明,该方法有助于EM算法以较快的速度在参数真值附近收敛。     

一种基于递增估计GMM的连续优化算法

目前的分布估计算法(estimation of distribution algorithms)中概率模型的学习或多或少存在着对先验知识的依赖,而这些先验知识往往是不可预知的.针对这一问题,文中提出采用集成学习(ensemble learning)的思想实现EDAs中概率模型结构和参数的自动学习,并提出了一种基于递增学习策略的连续域分布估计算法,该算法采用贪心EM算法来实现高斯混合模型(GMM)的递增学习,在不需要任何先验知识的情况下,实现模型结构和参数的自动学习.通过一组函数优化实验对该算法的性能进行了考查,并与其它同类算法进行了比较.实验结果表明该方法是有效的,并且,相比其它同类EDAs,该算法用相对少的迭代,可以得到同样或者更好的结果.