一种学习稀疏BN最优结构的改进K均值分块学习算法

目前贝叶斯网络(Bayesian networks, BN)的传统结构学习算法在处理高维数据时呈现出计算负担过大、在合理时间内难以得到期望精度结果的问题.为了在高维数据下学习稀疏BN的最优结构, 本文提出了一种学习稀疏BN最优结构的改进K均值分块学习算法.该算法采用分而治之的策略, 首先采用互信息作为节点间距离度量, 利用融合互信息的改进K均值算法对网络分块; 其次, 使用MMPC (Max-min parent and children)算法得到整个网络的架构, 根据架构找到块间所有边的可能连接方向, 从而找到所有可能的图结构; 之后, 对所有图结构依次进行结构学习; 最终利用评分找到最优BN.实验证明, 相比现有分块结构学习算法, 本文提出的算法不仅习得了网络的精确结构, 且学习速度有一定提高; 相比非分块经典结构学习算法, 本文提出的算法在保证精度基础上, 学习速度大幅提高, 解决了非分块经典结构学习算法无法在合理时间内处理高维数据的难题.     

基于节点排序的贝叶斯网络结构学习算法

针对K2算法学习贝叶斯网络结构时需要确定节点顺序的问题,提出一种混合贝叶斯网络结构学习算法。在给定数据集的情况下,利用MMPC算法获得网络的初始结构图,应用广度优先搜索的方式对此初始结构图进行搜索,从该图中入度为0的节点出发,按层次依次访问图中的邻接点,获得优化的节点顺序。将该节点顺序作为K2算法的初始节点顺序,再利用K2算法对空间进行搜索,找到全局最优解。实验结果表明,与K2算法和限制性粒子群算法相比,该算法在相同的样本数据集下产生多边、少边和反边情况的概率更低,并且可学习到更准确的贝叶斯网络结构,收敛速度快、求解精度高。     

基于密度核估计的贝叶斯网络结构学习算法

贝叶斯网络结构学习算法主要包括爬山法和K2算法等,但这些方法均要求面向大样本数据集。针对实际问题中样本集规模小的特点,通过引入概率密度核估计方法以实现对原始样本集的拓展,利用K2算法进行贝叶斯网络结构学习。通过优化选择核函数和窗宽,基于密度核估计方法实现了样本集的有效扩展;同时基于互信息度进行变量顺序的确认,进而建立了小规模样本集的贝叶斯结构学习算法。仿真结果验证了新学习算法的有效性和实用性。     

基于选择性集成遗传算法的BNC结构学习

为克服IQ算法在处理贝叶斯网络分类器（Bayesian Network Classifier,BNC）结构学习中要求先指定适合节点次序的缺点,提出GA-K2算法,将基于选择性集成的整数编码遗传算法引入到K2算法中,使之能得到最佳节点次序并且网络结构收敛到全局最优．构建贝叶斯网络分类器进行分类,实验结果表明GA-K2算法优于随意指定节点顺序的IQ算法．     

基于蝙蝠算法的贝叶斯网络结构学习研究

针对混合算法学习贝叶斯网络结构存在易陷入局部最优、搜索精度低等问题,提出了采用蝙蝠算法和约束结合的贝叶斯网络结构混合算法。首先应用最大最小父子(Max-min parents and children,MMPC)节点集合构建初始无向网络的框架,然后利用蝙蝠算法进行评分搜索并确定网络结构中边的方向。最后应用上述算法学习ALARM网,并和最大最小爬山(the max-min hill climbing,MMHC)算法,贪婪搜索算法相比较,结果表明在增加边、反转边、删除边以及结构海明距离方面都有不同程度的减少,表明改进算法具有较强的学习能力和良好的收敛速度。     

基于MWST-CS-K2算法的贝叶斯网络结构学习

针对K2算法依赖最大父节点数和节点顺序的不足,提出了一种改进的贝叶斯网络结构学习算法（MWST-CS-K2）。该算法先通过构造最大支撑树（MWST）得到最大父节点数;再利用变量间的关联度和更新系数对加边、减边和反转边进行规则设定,通过改进的布谷鸟算法对鸟巢位置进行寻优,应用广度优先搜索策略搜索遍历得到节点顺序;最后将最大父节点数和节点顺序作为K2算法的输入搜索得到最终网络。实验表明,所提出的MWST-CS-K2算法在标准的ASIA、SACHS和CHILD网络数据测试中的平均正确边比率分别达到了97.3%、87.7%和95.6%,学习效果优于其他对比算法,获得的网络结构和标准的网络结构最为相似。     

近似图引导的演化贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络推理及应用的基础.搜索高质量的节点序是贝叶斯网络结构学习的一类重要方法.针对在节点序空间中,搜索高质量节点序存在的难以高效、准确评估解的问题,本文提出了一种近似图引导的演化贝叶斯网络结构学习算法.首先,该算法利用互信息构建无向近似图;其次,该算法通过结合节点序和无向近似图构造有向图结构,将其贝叶斯信息准则评分作为节点序的适应度来高效评估节点序,并在演化优化的框架下,使用提出的基于Kendall Tau Distance的交叉算子和基于逆度的变异算子搜索最优节点序;最后,将搜索到的最优节点序输入K2算法得到其对应的贝叶斯网络结构.在4种不同规模网络上的实验结果表明,该算法在收敛时间和准确度之间取得了较好的平衡,其评分相较于对比算法中的次优解分别提升了10.91%、12.28%、53.96%、10.87%.     

互信息与爬山法相结合的贝叶斯网络结构学习

针对爬山法容易陷入局部最优,而随机重复爬山法时间开销过大的问题,将互信息与爬山法相结合,提出了MI&HC贝叶斯网络结构学习算法。首先利用互信息构建初始网络结构,再从该网络结构开始利用爬山法进行贝叶斯网络结构学习。仿真结果表明:MI&HC算法,对小型稀疏网络结构的学习效果非常好,对较大型的网络结构的学习也能得到令人满意的结果;该算法不需要节点顺序这一先验信息,却能获得与K2算法相当的学习效果。     

基于粒子群优化算法的Bayesian网络结构学习

近年来,Bayesian网络已经成为人工智能领域的研究热点.为了更广泛的应用Bayesian网络,本文采用粒子群优化搜索算法,通过对粒子群算法中各个算子的确定,从训练数据样本中学习到Bayesian网络结构,并用测试数据样本测试学习结果与训练数据的匹配程度,试验结果表明,该算法能有效地学习到Bayesian网络结构.     

基于超结构的BN随机搜索学习算法

近年来,贝叶斯网络(Bayesian network, BN)在不确定性知识表示与概率推理方面发挥着越来越重要的作用.其中,BN结构学习是BN推理中的重要问题.然而,在当前BN结构的2阶段混合学习算法中,大多存在一些问题：第1阶段无向超结构学习中存在容易丢失弱关系的边的问题;第2阶段的爬山搜索算法存在易陷入局部最优的问题.针对这2个问题,首先采用Opt01ss算法学习超结构,尽可能地避免出现丢边现象;然后给出基于超结构的搜索算子,分析初始网络的随机选择规则和对初始网络随机优化策略,重点提出基于超结构的随机搜索的SSRandom结构学习算法,该算法一定程度上可以很好地跳出局部最优极值;最后在标准Survey, Asia,Sachs网络上,通过灵敏性、特效性、欧几里德距离和整体准确率4个评价指标,并与已有3种混合学习算法的实验对比分析,验证了该学习算法的良好性能.     

BN结构和参数学习算法改进

本文论及了对jie cheng等人提出的三阶段学习算法的一种改进方法,进而论及利用现有BN模型、参数及新数据实现动态参数更新及在线学习的方法。并给出了仿真实验。     

一种基于两步搜索策略的K2改进算法

贝叶斯网络由于其强大的不确定性推理能力和因果可表示性越来越受到研究者的关注。从数据中学习一个贝叶斯网络结构被称为NP-hard问题。其中,针对K2算法强依赖于变量拓扑序的问题,提出了一种组合变量邻居集和v-结构信息的K2改进学习方法TSK2(Two-Step Search Strategy of K2)。该方法有效减小了序空间搜索规模,同时避免了过早陷入局部最优。具体而言,该方法在约束算法定向规则的启示下,借助识别的v-结构和邻居集信息可靠调整汇点的邻居在序中的位置;其次,在贝网基本组成结构的启发下,借助变量邻居集信息,通过执行顺连、分连、汇连3个基本结构的搜索,准确修正父节点与子节点的序位置,获得最优序列。实验结果表明,在Asia和Alarm网络数据集上,与对比方法相比,所提算法的准确率得到显著提升,可以获得更准确的网络结构。     

基于粒子群优化建模的贝叶斯网络结构学习方法

贝叶斯网络(BN)在不确定性的条件下表示信息和推理论证具有良好的性能,但由于其结构搜索空间的复杂性,通常将从一个数据集合中学习贝叶斯网络的结构认为是一种NP-hard的问题。基于此,提出一种新的基于粒子群优化算法建模的贝叶斯网络结构学习方法。为了学习一个贝叶斯网络的结构,该方法先使用粒子群优化算法在排序空间中进行搜索,然后运行K2算法计算每个排序的吻合度。每个排序都会有一个网络结构与之一致,该方法会返回这个网络的计分。仿真结果表明,在不同规模的数据集中,该算法相对于其他贝叶斯网络结构学习算法对不同类型的网络都具有更好的网络稳定性。     

基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法

贝叶斯网络分类器的精确构造是NP难问题,使用K2算法可以有效地缩减搜索空间,提高学习效率。然而K2算法需要初始的节点次序作为输入,这在缺少先验信息的情况下很难确定;另一方面,K2算法采用贪婪的搜索策略,容易陷入局部最优解。提出了一种基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法(CMI-PK2算法),该算法首先利用条件互信息生成有效的节点次序作为K2算法的输入,然后利用概率突跳机制改进K2算法的搜索过程来提高算法的全局寻优能力,学习较为理想的网络结构。在两个基准网络Asia和Alarm上进行了实验验证,结果表明CMI-PK2算法具有更高的分类精度和数据拟合程度。     

一种混合的贝叶斯网结构学习算法

贝叶斯网是人工智能中一个重要的理论模型,也是现实世界中不确定性问题建模的重要工具.针对贝叶斯网的结构学习问题,提出了一种将约束满足、蚁群优化和模拟退火策略相结合的混合算法.新算法首先利用阈值自调整的条件测试来动态地压缩搜索空间,在加速搜索过程的同时保证学习的求解质量;然后在基于MDL的蚁群随机搜索中引入模拟退火的优化调节机制,改进了算法的优化效率.实验结果验证了所提策略的有效性,与最新的同类算法相比,新算法在保持较快收敛速度的前提下具有更好的求解质量.     

基于TAN结构的启发式贝叶斯网络结构学习算法

贝叶斯网络结构学习是个NP难题。一种有效且准确性较高的学习算法是K2算法。但K2算法要确定结点次序,在无先验信息时受到很大限制。提出了一种启发式结构学习G算法,该算法以学习树扩展朴素贝叶斯TAN结构作为启发式信息,由该启发式信息生成结点次序,再用K2算法生成贝叶斯网络结构。实验结果表明,G算法可以解决无先验信息时确定结点次序的问题。所添加的弧比较简洁,网络结构比TAN结构更加合理。     

基于TAN结构的启发式贝叶斯网络结构学习算法

贝叶斯网络结构学习是个NP难题。一种有效且准确性较高的学习算法是K2算法。但K2算法要确定结点次序,在无先验信息时受到很大限制。提出了一种启发式结构学习G算法,该算法以学习树扩展朴素贝叶斯TAN结构作为启发式信息,由该启发式信息生成结点次序,再用K2算法生成贝叶斯网络结构。实验结果表明,G算法可以解决无先验信息时确定结点次序的问题。所添加的弧比较简洁,网络结构比TAN结构更加合理。     

贝叶斯网学习中一种有效的爬山算法

提出在学习贝叶斯网下的一种行之有效的爬山算法,HCBest算法.该算法在学习网络结构形成环时,选择删除能提高打分值最多的边,直到没有环为止.实验证明,HCBest既可以作为一种独立的贝叶斯网学习方法,又可以作为其它复杂元启发方法的局部搜索算法.HCBest学出的网络在打分质量和结构上都比较好.在算法的简洁性和稳定性方面,HCBest的表现也令人满意.     

基于频繁项挖掘的贝叶斯网络结构学习算法BNSL-FIM

贝叶斯网络能够表示不确定知识并进行推理计算表达,但由于实际样本数据存在噪声和大小限制以及网络空间搜索的复杂性,贝叶斯网络结构学习始终会存在一定的误差。为了提高贝叶斯网络结构学习的准确度,提出了以最大频繁项集和关联规则分析结果为先验知识的贝叶斯网络结构学习算法BNSL-FIM 。首先从数据中挖掘出最大频繁项集并对该项集进行结构学习,之后使用关联规则分析结果对其进行校正,从而确定基于频繁项挖掘和关联规则分析的先验知识。然后提出一种融合先验知识的BDeu评分算法进行贝叶斯网络结构学习。最后在6个公开标准的数据集上开展了实验,并对比引入先验/不引入先验的结构与原始网络结构的汉明距离,结果表明所提算法与未引入先验的BDeu评分算法相比显著提高了贝叶斯网络结构学习的准确度。     

TANC-BIC结构学习算法

树扩展朴素贝叶斯分类器(TANC)是应用较广的一种贝叶斯分类器.TANC的分类性能优于朴素贝叶斯分类器(NBC).现有的TANC结构学习算法是基于相关性分析的,采用互信息测度.贝叶斯信息测度(BIC)在基于打分和搜索的贝叶斯网络结构学习中取得了成功,文中用BIC测度来衡量属性结点之间的相关性,提出了一种新的TANC-BIC结构学习算法.在MBNC实验平台上编程实现了TANC-BIC算法,用分类准确率衡量算法的性能.实验结果表明,TANC-BIC算法是有效的.