贝叶斯网络的并行EM学习算法

时间复杂性是基于EM框架的贝叶斯网络学习算法应用的一个瓶颈问题,本文首先提出一种并行的参数EM算法来学习具有缺省数据的贝叶斯网络参数,实验表明该算法可有效降低参数学习的时间复杂性,进而将该算法应用到结构EM算法中,提出一种并行的结构EM算法(PL-SEM),PL-SEM算法并行地计算各个样本的期望充分因子和贝叶斯网络的参数,降低结构学习的时间复杂性.     

用于态势评估中因果推理的贝叶斯网络

1 引言贝叶斯网络是由R.Howard和J.Matheson于1981年提出来的,它主要用来表述不确定的专家知识。后来经过J.Pearl,D.Heckerman等人的研究,贝叶斯网络的理论及算法有了很大的发展。作为一种知识表示和进行概率推理的框架,贝叶斯网络在具有内在不确定性的推理和决策问题中已经得到了广泛的应用,例如概率专家系统、计算机视觉和数据挖掘等。     

高效计算因果网中的最大可能解释

在因果网中,高效计算的最大可能解释(Most Probable Explanations,MPE)是一个关键问题。从有向无环图的角度,研究者们发现每一个因果网都有一个与之对应的贝叶斯网络。文中通过比较干预和微分的语义,揭示了MPE完全原子干预的微分语义。根据微分语义,因果网中原子干预MPE实例的计算可以归约为贝叶斯网络中的MPE实例的计算。接着,提出了一个联合树算法(Best JoinTree,BJT),它通过在因果网中只构建一个联合树来计算最好的原子干预,原子干预的结果包含一个BMPE(Best MPE)概率和它对应的实例。其中,BMPE概率是对MPE所有结点分别进行原子干预后得到的最高概率。BJT可以采用干预的效果来计算对应贝叶斯网络的MPE概率和MPE实例。最后,实验证实了绝大多数因果网在计算最好原子干预时,BJT的速度比目前最好的算法快了超过10倍。     

高效计算因果网中的干预

在因果网中,对和积问题因果效果的计算是其首要问题,从有向无环图的角度,研究者们发现每一个因果网都有一个与之对应的贝叶斯网络,干预是因果网的一个基本操作.类似于贝叶斯网络中的剪枝策略,在剪枝掉所有无效结点后,文中设计了一种优化的算法OFDo来计算对因果网中每个结点的完全原子干预.文中接着研究多干预操作,发现多干预操作具有...     

Parameter Learning in Object-Oriented Bayesian Networks

This paper describes a method for parameter learning in Object-Oriented Bayesian Networks (OOBNs). We propose a methodology for learning parameters in OOBNs, and prove that maintaining the object orientation imposed by the prior model will increase the learning speed in object-oriented domains. We also propose a method to efficiently estimate the probability parameters in domains that are not strictly object oriented. Finally, we attack type uncertainty, a special case of model uncertainty typical to object-oriented domains.     

贝叶斯网络分类器近似学习算法

贝叶斯网络在很多领域应用广泛,作为分类器更是一种有效的常用分类方法,它有着很高复杂度,这使得贝叶斯网络分类器在应用中受到诸多限制。通过对贝叶斯网络分类器算法的近似处理,可以有效减少计算量,并且得到令人满意的分类准确率。通过分析一种将判别式算法变为产生式算法的近似方法,介绍了这种算法的近似过程,并将其应用在了贝叶斯网分类算法中。接着对该算法进行分析,利用该算法的稳定性特点,提出Bagging-aCLL 集成分类算法,它进一步提高了该近似算法的分类精度。最后通过实验确定了该算法在分类准确率上确有不错的表现。     

用改进的非监督学习方法加速前馈神经网络的训练

本语文对非学习方法和前馈神经网络的结构进行了一些简单的改进,用改进后的结构和学习方法寝化前馈神经网络的权值,使前馈神经网络的训练速度和逼近精度显著提高。最后本语文通过仿真实例验证了该方法。     

基于贝叶斯网络的时间序列因果关系学习

贝叶斯网络是研究变量之间因果关系的有力工具,基于贝叶斯网络的因果关系学习包括结构学习与参数学习两部分,其中,结构学习是核心.目前,贝叶斯网络主要用于发现非时间序列数据中所蕴含的因果关系(非时间序列因果关系),从数据中学习得到的也均是一般变量之间的因果关系.针对这些情况,结合时间序列预处理、时间序列变量排序、转换数据集构...     

并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

具有隐藏变量的贝叶斯网络结构学习

目前,学习具有隐藏变量的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法,其效率和可靠性低.本文针对此问题建立一种新的具有隐藏变量贝叶斯网络结构学习方法.该方法首先依据变量之间基本依赖关系、基本结构和依赖分析思想进行不考虑隐藏变量的贝叶斯网络结构学习,然后利用贝叶斯网络道德图中的Cliques发现隐藏变量的位置,最后基于依赖结构、Gibbs sampling和MDL标准确定隐藏变量的取值、维数和局部结构.该方法能够避免标准Gibbs sampling的指数复杂性问题和现有学习方法存在的主要问题.实验结果表明,该方法能够有效进行具有隐藏变量的贝叶斯网络结构学习.     

判别贝叶斯网络的CEM学习算法

当数据存在缺值时,通常应用EM算法学习贝叶斯网络.然而,EM算法以联合似然作为目标函数,与判别预测问题的目标相偏离.与EM算法不同,CEM(Conditional Expectation Maximum)算法直接以条件似然作为目标函数.研究了判别贝叶斯网络学习的CEM算法,提出一种使得CEM算法具有单调性和收敛性的Q函数.为了简化计算,在CEM算法的E步,应用Q函数的一种简化形式;在CEM算法的M步,应用梯度下降法的一次搜索结果作为最优值的近似.最后,在UCI数据集上的实验结果表明了CEM算法在判别贝叶斯网络学习中的有效性.     

贝叶斯网学习中一种有效的爬山算法

提出在学习贝叶斯网下的一种行之有效的爬山算法,HCBest算法.该算法在学习网络结构形成环时,选择删除能提高打分值最多的边,直到没有环为止.实验证明,HCBest既可以作为一种独立的贝叶斯网学习方法,又可以作为其它复杂元启发方法的局部搜索算法.HCBest学出的网络在打分质量和结构上都比较好.在算法的简洁性和稳定性方面,HCBest的表现也令人满意.     

用贝叶斯网络进行因果分析

因果分析是贝叶斯网络的一个重要应用领域。因果分析不同于相关分析,无论对数据分析、扰动分析还是预测都是十分重要的。贝叶斯网络虽然有一定的因果语义(我们常常用变量的因果关系构造贝叶斯网络结构),但贝叶斯网络是条件独立性的表示,因此我们不能不加限定地用贝叶斯网络进行因果分析。贝叶斯     

Construction and Methods of Learning of Bayesian Networks

Methods of learning Bayesian networks from databases, basic concepts of Bayesian networks, basic methods of learning, methods of learning parameters, and the structures of a network and hidden parameters are considered. Basic definitions and key concepts with illustrative examples are presented. __________ Translated from Kibernetika i Sistemnyi Analiz, No. 4, pp. 133–147, July–August 2005.     

一种基于随机抽样的贝叶斯网络结构学习算法

针对贝叶斯网络的结构学习问题,基于并行随机抽样的思想提出了结构学习算法PCMHS,构建多条并行的收敛于Boltzmann分布的马尔可夫链.首先基于节点之间的互信息,进行所有马尔可夫链的初始化,在其迭代过程中,基于并行的MHS抽样总体得到产生下一代个体的建议分布,并通过对网络中弧和子结构的抽样产生下一代个体.算法FCMHS收敛于平稳分布,具有良好的学习精度,而该算法又通过使其初始分布和建议分布近似于其平稳分布,有效提高了马尔可夫链的收敛速度.在标准数据集上的实验结果验证了算法PCMHS的学习效率和学习精度明显优于经典算法MHS和PopMCMC.     

贝叶斯网络的代价敏感结构学习

针对最小化错误分类器不一定满足最小化误分类代价的问题,提出了一种代价敏感准则--即最小化误分类代价和最小化错误分类率的双重准则.研究了基于代价敏感准则的贝叶斯网络结构学习,要求搜索网络结构时在满足误分类代价最小的同时,还要满足错误分类率优于当前的最优模型.在UCI数据集上学习代价敏感贝叶斯网络,并与相应的生成贝叶斯网络和判别贝叶斯网络进行比较,结果表明了代价敏感贝叶斯网络的有效性.     

可靠通信的多跳水声网络能量最小路径

目前对水声网络能耗的研究并未考虑因数据发送失败而引起的数据重发导致的额外的能耗。研究在给定接收信噪比条件下可靠通信的多跳水声网络能量最小路径问题。首先建立了可靠通信的网络能量模型,通过曲线拟合的方法得到最优频率-距离关系的近似表达,以简化能耗模型;然后分析了可变发送功率和固定发送功率两种模式下的能量最小路径,从理论上证明了直线等距网络的总能耗最小,并给出了直线等距网络最优跳数和最优距离的求解方法。仿真结果验证了该理论的正确性。     

利用贝叶斯网络进行遥感变化检测

多时相遥感信息变化检测及其算法探索是当前国际遥感领域研究的热点,但是贝叶斯网络在遥感数据分类、特别是应用在变化检测方面的文献却很少。本文介绍了利用贝叶斯网络的变量间独立性测试原理,构建了输入两个时相多波段遥感信息的有向无环结构,利用训练后的网络进行两个时相多波段遥感变化信息的检测,取得了较好的效果。对北京六环线以内区域,1994年、2003年5种地类变化信息的遥感数据检测和类型转换进行了统计,其中耕地转换为城镇的占整个区域的26.52%,绿地增加占整个区域4.68%,水体减少占整个区域6.78%,导致裸地增加占整个区域4.80%,这个结果也在1∶5万的航空影像和地面上得到了验证。实验结果表明,贝叶斯网络为遥感数据的直接变化检测提供了一种新的途径。     

The Sample Complexity of Learning Fixed-Structure Bayesian Networks

We consider the problem of PAC learning probabilistic networks in the case where the structure of the net is specified beforehand. We allow the conditional probabilities to be represented in any manner (as tables or specialized functions) and obtain sample complexity bounds for learning nets with and without hidden nodes.     

贝叶斯网络结构稀疏学习研究进展*

贝叶斯网络结构稀疏化学习因其既能简化结构又能保留原始网络中的重要信息,已经成为当前贝叶斯网络的研究热点.文中首先讨论贝叶斯网络结构稀疏学习的必要性、贝叶斯网络稀疏性的定义,并在此基础上介绍现有的贝叶斯网络结构稀疏学习研究思路.然后,回顾一般的贝叶斯网络结构学习方法,并分析它们在高维背景下存在的问题,进而发现基于评分的方法通常适合于贝叶斯网络结构的稀疏学习,因此重点介绍贝叶斯网络结构稀疏学习的目标函数和优化求解算法.最后,探讨未来贝叶斯网络结构稀疏学习的一些研究方向.