贝叶斯网学习算法模型及参数学习算法

1 引言近年来,贝叶斯网(又称随机信息网)作为处理人工智能中不确定性问题的建模工具受到学术界的广泛关注,并成功地应用在医学诊断、模式识别、故障诊断各个方面。作为一种有向图表示的建模方法,贝叶斯网由于其表达方式自然、紧凑,深受知识工程师喜受,已广泛地用于知识获取和表示。但是,利用专家知识构造贝叶斯网是一件烦琐的工作,特别是网络节点数很大时更是这样。因此,利用数据例子,通过学习自动生成贝叶斯网的方法日益受到重视,有一些学习     

数据缺失下学习贝叶斯网的一种混合启发方法

建立了具有数据缺失训练集下学习贝叶斯网的一种混合启发方法:SGS-EM-PACOB算法.它基于打分-搜索方法,利用GS和EM数据补全策略分别得到学习所需要的统计因子,并将两者联合起来作为PACOB算法的启发因子.实验证明,SGS-EM-PACOB算法充分保留GS和EM两者的优点,促使算法能够平稳地收敛到理想结果.相对于只具有单一数据补全策略的算法,该算法不仅在度量数据拟合程度的Logloss值上保持稳定,而且在学习到的贝叶斯网络结构上也有改进.     

数据缺失下学习贝叶斯网络的E-GSA算法

针对数据缺失条件下构建贝叶斯网络难度大的问题,研究了贝叶斯结构学习算法,提出了将条件独立性检验和评分-搜索相结合的算法.采用改进的混合算法对训练数据初始化,建立相应的初始网络,对已经拟合了训练数据信息的初始网络用遗传模拟退火算法进行训练以找到最佳的网络结构.给出了算法实施的具体步骤且通过实验验证了算法性能,并将实验结果与其他典型的算法进行比较,表明了算法具有更优的学习效果.     

贝叶斯网学习中一种有效的爬山算法

提出在学习贝叶斯网下的一种行之有效的爬山算法,HCBest算法.该算法在学习网络结构形成环时,选择删除能提高打分值最多的边,直到没有环为止.实验证明,HCBest既可以作为一种独立的贝叶斯网学习方法,又可以作为其它复杂元启发方法的局部搜索算法.HCBest学出的网络在打分质量和结构上都比较好.在算法的简洁性和稳定性方面,HCBest的表现也令人满意.     

面向大规模数据集的贝叶斯网络参数学习算法

贝叶斯网络的学习可以分为结构学习和参数学习。期望最大化（EM）算法通常用于不完整数据的参数学习,但是由于EM算法计算相对复杂,存在收敛速度慢和容易局部最大化等问题,传统的EM算法难于处理大规模数据集。研究了EM算法的主要问题,采用划分数据块的方法将大规模数据集划分为小的样本集来处理,降低了EM算法的计算量,同时也提高了计算精度。实验证明,该改进的EM算法具有较高的性能。     

贝叶斯网等价类学习算法

贝叶斯网用一种紧凑的形式表示联合概率分布,具有完备的语义和坚实的理论基础,目前已成为人工智能领域处理不确定性问题的最佳方法之一。贝叶斯网学习是其关键问题,传统学习方法存在如下不足：（1）随节点数增多非法结构以指数级增加,影响学习效率;（2）在等价结构之间进行打分搜索,影响收敛速度;（3）假设每个结构具有相同的先验概率,造成等价类中包含结构越多则先验概率越高。本文提出一种学习马尔科夫等价类算法,该算法基于骨架空间进行状态转换,利用从骨架空间到等价类空间的映 映射关系实现学习贝叶斯网等价类。实验数据证明,该方法可有效缩小搜索空间规模,相对于在有向图空间搜索的算法加快了算法的收敛速度,提高了执行效率。     

一种数据缺失下贝叶斯网络增量学习的有效方法

提出一种在数据缺失下增量学习贝叶斯网络的有效算法IBN—M。IBN—M用结构化的EM算法来补全数据集中缺失的数据,并且能在并行和启发式搜索策略提供的较大的搜索空间里搜索,有效地避免了采用结构化EM算法而导致的局部极值。同时采用增量学习的方法,解决了大规模数据学习存在的内存空间不足的问题。实验结果表明IBN-M算法在数据缺失下贝叶斯网络的增量学习中确实能够学出相对精确的网络模型。     

贝叶斯学习,贝叶斯网络与数据采掘

自从50～60年代贝叶斯学派形成后,关于贝叶斯分析的研究久盛不衰。早在80年代,贝叶斯网络就成功地应用于专家系统,成为表示不确定性专家知识和推理的一种流行方法。90年代以来,贝叶斯学习一直是机器学习研究的重要方向。由于概率统计与数据采掘的     

基于朴素贝叶斯的EM缺失数据填充算法

实际应用中大量的不完整的数据集,造成了数据中信息的丢失和分析的不方便,所以对缺失数据的处理已经成为目前分类领域研究的热点。由于EM方法随机选取初始代表簇中心会导致聚类不稳定,本文使用朴素贝叶斯算法的分类结果作为EM算法的初始使用范围,然后按E步M步反复求精,利用得到的最大化值填充缺失数据。实验结果表明,本文的算法加强了聚类的稳定性,具有更好的数据填充效果。     

并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

基于Jaya的贝叶斯网络结构学习算法研究

基于评分搜索的贝叶斯网络结构学习算法通常需要调参,导致计算量增大且不当的参数易使算法陷入局部最优。针对这一问题,将无需调参的Jaya算法应用于贝叶斯网络结构学习。在Jaya算法的框架下,结合遗传算法的交叉变异思想重新设计了个体更新策略,使Jaya算法能够应用于结构学习这一离散优化问题,并结合马尔科夫链的相关理论讨论了所提算法的敛散性。实验结果表明,该算法能有效应用于贝叶斯网络结构学习。     

基于蝙蝠算法的贝叶斯网络结构学习研究

针对混合算法学习贝叶斯网络结构存在易陷入局部最优、搜索精度低等问题,提出了采用蝙蝠算法和约束结合的贝叶斯网络结构混合算法。首先应用最大最小父子(Max-min parents and children,MMPC)节点集合构建初始无向网络的框架,然后利用蝙蝠算法进行评分搜索并确定网络结构中边的方向。最后应用上述算法学习ALARM网,并和最大最小爬山(the max-min hill climbing,MMHC)算法,贪婪搜索算法相比较,结果表明在增加边、反转边、删除边以及结构海明距离方面都有不同程度的减少,表明改进算法具有较强的学习能力和良好的收敛速度。     

基于人工鱼群算法的贝叶斯网络参数学习方法

研究算法改进,提高计算性能,贝叶斯网络是解决不确定性问题的一种有效方法,在很多领域得到了广泛应用。参数学习是贝叶斯网络构建的重要环节,但含隐变量、连续变量的参数学习是非常困难的。为解决上述问题,提出了一种人工鱼群算法的贝叶斯网络参数学习方法,并进一步通过调整人工鱼随机移动速度的方法提高了算法的收敛性能和速度。最后,将参数学习方法在由Noisy-Or和Noisy-And节点组成的贝叶斯网络中进行了仿真,仿真结果表明了参数学习方法,特别是改进后方法的可行性和优越性。     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

一种基于预排序的贝叶斯网络结构学习算法

贝叶斯网络结构学习对贝叶斯网络解决实际问题至关重要.基于评分与搜索的方法是目前比较常用的结构学习方法,但该类方法中结构搜索空间的大小随结点个数增加而指数增长,因此一般采用启发式搜索策略,有些方法还需要结点次序.在基于结点次序的最大相关-最小冗余贪婪贝叶斯网络结构学习算法中,由于是随机产生初始结点的次序,这增大了结果的不确定性.本文提出一种生成优化结点初始次序的方法,在得到基本有序的结点初始次序后,再结合近邻交换算子进行迭代搜索,能够在较短的时间内得到更加正确的贝叶斯网络结构.实验结果表明了该方法的有效性.     

小样本贝叶斯网络结构学习的KDE-CGA算法

针对小样本数据条件下的贝叶斯网络结构学习,首先利用核密度估计(Kernel Density Estimation,KDE)对小规模样本数据进行拓展,然后引用云遗传算法(Cloud Theory-based Genetic Algotithm,CGA)对贝叶斯网络结构进行学习。通过优化改进核密度函数及其窗宽提高数据拓展效果;通过将云理论引入遗传算法中,自适应地改变交叉率和变异率,避免了算法局部寻优问题。仿真结果验证了该算法的有效性。     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.     

一种基于云模型的贝叶斯网络EM参数学习算法

针对贝叶斯网络连续节点离散化后,概念知识表达存在模糊性和随机性的问题,提出一种将云模型与EM(Expectations Maximization)算法相结合的贝叶斯网络参数学习算法。首先运用启发式高斯云变换算法(Heuristic Gaussian Cloud Transformation)和云发生器将连续节点定量样本转换成定性概念,并记录下样本对所属概念的确定度,运用确定度概率转换公式将确定度转换成相应概率;随后复制扩充样本并按概率选择所属概念;样本更新后结合EM算法进行参数优化,实现贝叶斯网络的参数学习。仿真实验结果表明,通过云模型表征概念得到的参数学习结果更加符合实际情况,参数学习精度和网络推理准确性得到了提高。     

A Structure Learning Algorithm for Bayesian Network Using Prior Knowledge

Learning structure from data is one of the most important fundamental tasks of Bayesian network research. Particularly, learning optional structure of Bayesian network is a non-deterministic polynomial...     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。