基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

基于互信息的贝叶斯网络结构学习算法

结构学习是贝叶斯网络的重要分支之一,而由数据学习贝叶斯网络是NP-完全问题,提出了一个由数据学习贝叶斯网络的改进算法。该算法基于互信息知识构造初始无向图,并通过条件独立测试对无向边添加方向;同时提出了一个针对4节点环和5节点环的局部优化方法来构造初始框架,最后利用贪婪搜索算法得到最优网络结构。数值实验结果表明,改进的算法无论是在BIC评分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构。     

基于差分进化策略的贝叶斯网络结构学习方法

针对目前主流的利用启发式搜索算法进行贝叶斯网络结构学习时,初始种群难以确定且容易陷入局部最优的问题,提出了基于部分互信息和改进差分进化算法相结合的混合算法.算法首先利用节点之间的部分互信息为依据构建初始种群,再将动态因子引入差分进化算法平衡了算法的全局寻优和局部搜索能力,最后对贝叶斯网络结构进行寻优.在两个标准网络Asia和Car网络中进行仿真,并与遗传算法和爬山算法进行对比,仿真结果表明算法在冗余边、缺失边、反向边以及算法的学习性能方面均有不同程度的提升,算法能够得到较好的贝叶斯网络结构,并有更高的数据拟合度.     

基于差分进化策略的贝叶斯网络结构学习方法

针对目前主流的利用启发式搜索算法进行贝叶斯网络结构学习时,初始种群难以确定且容易陷入局部最优的问题,提出了基于部分互信息和改进差分进化算法相结合的混合算法.算法首先利用节点之间的部分互信息为依据构建初始种群,再将动态因子引入差分进化算法平衡了算法的全局寻优和局部搜索能力,最后对贝叶斯网络结构进行寻优.在两个标准网络Asia和Car网络中进行仿真,并与遗传算法和爬山算法进行对比,仿真结果表明算法在冗余边、缺失边、反向边以及算法的学习性能方面均有不同程度的提升,算法能够得到较好的贝叶斯网络结构,并有更高的数据拟合度.     

一种贝叶斯网络结构学习的优化策略

贝叶斯网络(Bayesian Network,BN)近年成为数据挖掘引人注目的研究方向,贝叶斯网络的学习也就是要找出一个能够最真实反映现有数据集中各数据变量相互之间的依赖关系的贝叶斯网络模型。本文针对BN结构学习的Jie Cheng＆David Bell算法作了相关研究并提出了优化策略(MJAC算法)。本文最后以一个经典概率模型验证了优化算法的可行性。     

贝叶斯网络结构学习的简化贪婪算法

基于数据的贝叶斯网络结构学习是一个NP难题.基于条件约束和评分搜索相结合的方法是贝叶斯网络结构学习的一个热点.基于互信息理论提出一种最大支撑树(MWST)机制,并基于最大支撑树结合贪婪搜索的思想提出一种简化贪婪算法.简化贪婪算法不依赖先验知识,完全基于数据集.首先,通过计算互信息建立目标网络的最大支撑树;然后,在最大支撑树的基础上学习初始网络结构,最后,利用简化搜索机制对初始结构进一步优化,最终完成贝叶斯网络的结构学习.数据仿真实验证明,简化贪婪算法不仅具有很高的精度而且具有高效率.     

利用互信息学习贝叶斯网络结构

由数据构造贝叶斯网络结构是NP-难问题,因此提出了一种基于互信息的改进算法.该算法根据互信息构造初始框架,其次利用最大支撑树算法精简初始框架,并通过条件独立测试添加方向,最后利用贪婪算法得到最优网络结构.数值实验表明,改进算法无论是在B IC的得分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构.     

贝叶斯网络拓扑结构确定方法的研究

贝叶斯方法是概率统计学中一种很重要的方法 ,贝叶斯网络是一种将贝叶斯概率方法和有向无环图的网络拓扑结构有机结合的表示模型 ,描述了数据项及其依赖关系 ,并根据各个变量之间概率关系建立的图论模型 ,但是如何获取它的网络拓扑结构是一个需要解决的问题 ,本文提出一种如何寻找最有可能的贝叶斯网络模型方法 ,并用启发式算法进行模型评估     

互信息与爬山法相结合的贝叶斯网络结构学习

针对爬山法容易陷入局部最优,而随机重复爬山法时间开销过大的问题,将互信息与爬山法相结合,提出了MI&HC贝叶斯网络结构学习算法。首先利用互信息构建初始网络结构,再从该网络结构开始利用爬山法进行贝叶斯网络结构学习。仿真结果表明:MI&HC算法,对小型稀疏网络结构的学习效果非常好,对较大型的网络结构的学习也能得到令人满意的结果;该算法不需要节点顺序这一先验信息,却能获得与K2算法相当的学习效果。     

一种可度量的贝叶斯网络结构学习方法

针对基于约束的方法存在的序依赖、高阶检验等问题,提出了一种通过互信息排序的贝叶斯网络结构学习方法,该方法包括度量信息矩阵学习和“偷懒”启发式策略2部分.其中度量信息矩阵刻画了变量间的依赖程度而且暗含了程度强弱的比较,有效地解决了检验过程中由于变量序导致的误判问题;“偷懒”启发式策略在度量信息矩阵的指导下有选择地将变量加入到条件集中,有效地降低了高阶检验而且减少了检验次数.从理论上证明了新方法的可靠性,从实验上展示了在不丢失学习结构质量的条件下,新方法的搜索比其他搜索过程显著快而且易扩展到样本量小且稀疏的数据集上.     

贝叶斯网络结构学习分析

贝叶斯网络结构学习(以下简称结构学习)的目标是寻找对先验知识和数据拟合得最好的网络结构。结构学习有两种方式,一种是模型选择,即选择一个最好的网络结构;另一种是选择性的模型平均,即选择合适数量的网络结构,以这些网络结构代表所有的网络结构。我们从限定的结构学习与非限定的结构学习两类     

非确定先验信息的贝叶斯网结构学习方法

针对非确定先验结构信息下的贝叶斯网络学习问题,提出一种非确定先验结构信息贝叶斯网络的结构学习方法。为更好地利用不确定性信息,对MDL测度进行改进,提出SMDL测度,使之能在学习过程中考虑先验信息的不确定性,使用模拟退火算法对问题进行求解。通过实验对算法的可行性和效率进行验证。     

Being Bayesian About Network Structure. A Bayesian Approach to Structure Discovery in Bayesian Networks

In many multivariate domains, we are interested in analyzing the dependency structure of the underlying distribution, e.g., whether two variables are in direct interaction. We can represent dependency structures using Bayesian network models. To analyze a given data set, Bayesian model selection attempts to find the most likely (MAP) model, and uses its structure to answer these questions. However, when the amount of available data is modest, there might be many models that have non-negligible posterior. Thus, we want compute the Bayesian posterior of a feature, i.e., the total posterior probability of all models that contain it. In this paper, we propose a new approach for this task. We first show how to efficiently compute a sum over the exponential number of networks that are consistent with a fixed order over network variables. This allows us to compute, for a given order, both the marginal probability of the data and the posterior of a feature. We then use this result as the basis for an algorithm that approximates the Bayesian posterior of a feature. Our approach uses a Markov Chain Monte Carlo (MCMC) method, but over orders rather than over network structures. The space of orders is smaller and more regular than the space of structures, and has much a smoother posterior landscape. We present empirical results on synthetic and real-life datasets that compare our approach to full model averaging (when possible), to MCMC over network structures, and to a non-Bayesian bootstrap approach.     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

一种快速的贝叶斯网结构学习算法

贝叶斯网是不确定性问题知识表达和推理中最重要的一个理论模型．迄今为止人们提出了许多贝叶斯网结构学习算法,基于约束满足和评分搜索相结合的混合方法是其中的一个研究热点．以I—B＆B—MDL为基础,提出了一种快速的学习算法．新算法不仅利用约束知识来压缩搜索空间,而且还用它作为启发知识来引导搜索．首先利用0阶和少量的1阶测试有效地限制搜索空间,获得网络候选的连接图,减少了独立性测试及对数据库的扫描次数,然后利用互信息作为启发性知识来引导搜索,增加了B＆B搜索树的截断．在通用数据集上的实验表明：快速算法能够有效地处理大规模数据,且学习速度有较大改进．     

贝叶斯网络结构模型的构建

贝叶斯网络结构是一种将贝叶斯概率方法和有向无环图的网络拓扑结构有机结合的表示模型,它描述了数据项及其依赖关系,并根据各个变量之间概率关系建立图论模型,但是如何获取具有丢失数据的网络结构是一个急需解决的问题.本文提出一个基于Kullback-Leibler(KL)散度的贝叶斯网络结构学习的KLBN(Kullback-Leibler Bayesian Network)算法.实验结果表明,KLBN算法在可靠性方面明显优于传统的具有丢失数据的贝叶斯网络结构学习算法.     

一种基于预排序的贝叶斯网络结构学习算法

贝叶斯网络结构学习对贝叶斯网络解决实际问题至关重要.基于评分与搜索的方法是目前比较常用的结构学习方法,但该类方法中结构搜索空间的大小随结点个数增加而指数增长,因此一般采用启发式搜索策略,有些方法还需要结点次序.在基于结点次序的最大相关-最小冗余贪婪贝叶斯网络结构学习算法中,由于是随机产生初始结点的次序,这增大了结果的不确定性.本文提出一种生成优化结点初始次序的方法,在得到基本有序的结点初始次序后,再结合近邻交换算子进行迭代搜索,能够在较短的时间内得到更加正确的贝叶斯网络结构.实验结果表明了该方法的有效性.