基于约束最大信息熵的贝叶斯网络结构学习算法

贝叶斯网络的学习可分为结构学习和参数学习.基于约束最大信息熵的结构学习算法是一种以搜索最高记分函数为原则的方法.本文以KL距离、相互信息以及最大相互信息为基础,通过附加合适的约束函数降低变量维数和网络结构的复杂度,提出了一种附加约束的最大熵记分函数,并结合爬山法设计一种贝叶斯网络结构学习的启发式算法.通过与著名的K2和B&B-MDL算法的实验比较,结果表明该算法在时间和精度上都具有较好的效果.     

贝叶斯网络结构学习的简化贪婪算法

基于数据的贝叶斯网络结构学习是一个NP难题.基于条件约束和评分搜索相结合的方法是贝叶斯网络结构学习的一个热点.基于互信息理论提出一种最大支撑树(MWST)机制,并基于最大支撑树结合贪婪搜索的思想提出一种简化贪婪算法.简化贪婪算法不依赖先验知识,完全基于数据集.首先,通过计算互信息建立目标网络的最大支撑树;然后,在最大支撑树的基础上学习初始网络结构,最后,利用简化搜索机制对初始结构进一步优化,最终完成贝叶斯网络的结构学习.数据仿真实验证明,简化贪婪算法不仅具有很高的精度而且具有高效率.     

近似图引导的演化贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络推理及应用的基础.搜索高质量的节点序是贝叶斯网络结构学习的一类重要方法.针对在节点序空间中,搜索高质量节点序存在的难以高效、准确评估解的问题,本文提出了一种近似图引导的演化贝叶斯网络结构学习算法.首先,该算法利用互信息构建无向近似图;其次,该算法通过结合节点序和无向近似图构造有向图结构,将其贝叶斯信息准则评分作为节点序的适应度来高效评估节点序,并在演化优化的框架下,使用提出的基于Kendall Tau Distance的交叉算子和基于逆度的变异算子搜索最优节点序;最后,将搜索到的最优节点序输入K2算法得到其对应的贝叶斯网络结构.在4种不同规模网络上的实验结果表明,该算法在收敛时间和准确度之间取得了较好的平衡,其评分相较于对比算法中的次优解分别提升了10.91%、12.28%、53.96%、10.87%.     

基于粒子群优化建模的贝叶斯网络结构学习方法

贝叶斯网络(BN)在不确定性的条件下表示信息和推理论证具有良好的性能,但由于其结构搜索空间的复杂性,通常将从一个数据集合中学习贝叶斯网络的结构认为是一种NP-hard的问题。基于此,提出一种新的基于粒子群优化算法建模的贝叶斯网络结构学习方法。为了学习一个贝叶斯网络的结构,该方法先使用粒子群优化算法在排序空间中进行搜索,然后运行K2算法计算每个排序的吻合度。每个排序都会有一个网络结构与之一致,该方法会返回这个网络的计分。仿真结果表明,在不同规模的数据集中,该算法相对于其他贝叶斯网络结构学习算法对不同类型的网络都具有更好的网络稳定性。     

基于蝙蝠算法的贝叶斯网络结构学习研究

针对混合算法学习贝叶斯网络结构存在易陷入局部最优、搜索精度低等问题,提出了采用蝙蝠算法和约束结合的贝叶斯网络结构混合算法。首先应用最大最小父子(Max-min parents and children,MMPC)节点集合构建初始无向网络的框架,然后利用蝙蝠算法进行评分搜索并确定网络结构中边的方向。最后应用上述算法学习ALARM网,并和最大最小爬山(the max-min hill climbing,MMHC)算法,贪婪搜索算法相比较,结果表明在增加边、反转边、删除边以及结构海明距离方面都有不同程度的减少,表明改进算法具有较强的学习能力和良好的收敛速度。     

基于边界的Markov网的发现

一、引言 Bayesian网是一种进行不确定性推理的有力工具,被广泛应用于人工智能、专家系统以及数据挖掘等领域。近年来,越来越多的研究者开始研究如何从大量的样本数据中发现Bayesian网络,提出了许多Bayesian网的学习算法。这些算法大致可以分为两类:基于搜索和打分的算法与基于依赖分析的算法。基于搜索和打分的算法的基本思想是根据评分函数搜索得到对样本数据拟合得最好的Bayesian网络。评分函数主要对待选的网络结构进行打分,选择与数据拟合得最好的网络结构。由于不可能对所有的网络结构进行测试,所以需要运用局部搜索算法进行网络结构的搜索,通常是从初始网络结构(可以是空结构,随机指定的结构或先验网络结构等)开始,通过增加、删除或转向操作使得局部最优化(根据评分函数),再逐渐扩展到整个网络最优化。常用的局部搜索算法是爬山法和模拟退火法。     

类基于蚁群优化的贝叶斯置信网结构学习策略及性能分析*

针对贝叶斯置信网的结构学习问题,提出一种遵循典型ACO算法框架(ACO-TSP)的贝叶斯网结构学习算法（ACO-BN）,并拓展为包括EAS-BN、ACS-BN和MMAS-BN在内的一类算法。用这类算法在若干典型贝叶斯网络结构学习问题上分别与经典贝叶斯网学习算法(K2、B)、用于贝叶斯网学习的通用优化算法（simulated annealing、Tabu searching和genetic searching）以及L. M. de Campos等人提出的基于蚁群优化的贝叶斯网络结构学习算法 Ant-K2SN     

基于频繁项挖掘的贝叶斯网络结构学习算法BNSL-FIM

贝叶斯网络能够表示不确定知识并进行推理计算表达,但由于实际样本数据存在噪声和大小限制以及网络空间搜索的复杂性,贝叶斯网络结构学习始终会存在一定的误差。为了提高贝叶斯网络结构学习的准确度,提出了以最大频繁项集和关联规则分析结果为先验知识的贝叶斯网络结构学习算法BNSL-FIM 。首先从数据中挖掘出最大频繁项集并对该项集进行结构学习,之后使用关联规则分析结果对其进行校正,从而确定基于频繁项挖掘和关联规则分析的先验知识。然后提出一种融合先验知识的BDeu评分算法进行贝叶斯网络结构学习。最后在6个公开标准的数据集上开展了实验,并对比引入先验/不引入先验的结构与原始网络结构的汉明距离,结果表明所提算法与未引入先验的BDeu评分算法相比显著提高了贝叶斯网络结构学习的准确度。     

基于双尺度约束模型的BN结构自适应学习算法

在无先验信息的情况下, 贝叶斯网络(Bayesian network, BN)结构搜索空间的规模随节点数目增加呈指数级增长, 造成BN结构学习难度急剧增加. 针对该问题, 提出基于双尺度约束模型的BN结构自适应学习算法. 该算法利用最大互信息和条件独立性测试构建大尺度约束模型, 完成BN结构搜索空间的初始化. 在此基础上设计改进遗传算法, 在结构迭代优化过程中引入小尺度约束模型, 实现结构搜索空间小尺度动态缩放. 同时, 在改进遗传算法中构建变异概率自适应调节函数, 以降低结构学习过程陷入局部最优解的概率. 仿真结果表明, 提出的基于双尺度约束模型的BN结构自适应学习算法能够在无先验信息的情况下保证BN结构学习的精度和迭代寻优的收敛速度.     

改进遗传优化的贝叶斯网络结构学习

针对贝叶斯网络结构学习提出了一种改进的遗传算法,和传统遗传算法相比,该改进算法针对贝叶斯网络结构学习问题增加了优化变异和修正非法图两个新的算子。新算子不但保持了贝叶斯网络学习的多样性和正确性,而且还能保证算法快速搜索到全局最优的网络结构。将该改进遗传算法用于贝叶斯网络结构学习的仿真结果表明,和传统K2算法、GS／GES算法、遗传算法和粒子群算法等算法相比,该算法具有更好的全局搜索能力和收敛速度。