小数据集的贝叶斯网络结构学习

针对直接基于小数据集贝叶斯网络结构学习不可靠, 以及目前对小数据集的处理只强调扩展而忽略对扩展数据的修正等, 提出了将扩展与修正相结合的小数据集处理机制, 以及在此基础上的基于结点排序和局部打分--搜索的贝叶斯网络结构学习方法. 可不需要完全结点顺序的先验知识, 但能够结合专家的部分结点顺序信息. 实验结果显示了这种方法的有效性和可靠性.     

贝叶斯网络结构学习综述

贝叶斯网络是一种有效的不确定性知识表达和推理工具,在数据挖掘等领域得到了较好的应用,而结构学习是其重要研究内容之一.经过二十多年的发展,已经出现了一些比较成熟的贝叶斯网络结构学习算法,对迄今为止的贝叶斯网络结构学习方法进行了综述.现阶段获得的用于结构学习的观测数据都比较复杂,这些数据分为完备数据和不完备数据两种类型.针对完备数据,分别从基于依赖统计分析的方法、基于评分搜索的方法和混合搜索方法三个方面对已有的算法进行分析.对于不完备数据,给出了数据不完备情况下网络结构的学习框架.在此基础上归纳总结了贝叶斯网络结构学习各个方向的研究进展,给出了贝叶斯网络结构学习未来可能的研究方向.     

贝叶斯网络结构学习分析

贝叶斯网络结构学习(以下简称结构学习)的目标是寻找对先验知识和数据拟合得最好的网络结构。结构学习有两种方式,一种是模型选择,即选择一个最好的网络结构;另一种是选择性的模型平均,即选择合适数量的网络结构,以这些网络结构代表所有的网络结构。我们从限定的结构学习与非限定的结构学习两类     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.     

具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

混合式贝叶斯网络结构增量学习算法研究

提出一种混合式贝叶斯网络结构增量学习算法.首先提出多项式时间的限制性学习技术,为每个变量建立候选父节点集合;然后,依据候选父节点集合,利用搜索技术对当前网络进行增量学习.该算法的复杂度显著低于目前最优的贝叶斯网络增量学习算法.理论与实验均表明,所处理的问题越复杂,该算法在计算复杂度方面的优势越明显.     

一种小规模数据集下的贝叶斯网络学习方法及其应用

提出了一种小规模数据集下学习贝叶斯网络的有效算法—FCLBNo FCLBN利用bootstrap方法在给定的小样本数据集上进行重抽样,然后用在抽样后数据集上学到的贝叶斯网络来佑计原数据集上的贝叶斯网络的高置信度的特征,并用这些特征来指导在原数据集上的贝叶斯网络搜索。用标准的数据集验证了FCLBN的有效性,并将FCLBN应用于酵母菌细胞中蛋白质的定位预测。实验结果表明,FCLBN能够在小规模数据集上学到较好的网络模型。     

贝叶斯学习,贝叶斯网络与数据采掘

自从50～60年代贝叶斯学派形成后,关于贝叶斯分析的研究久盛不衰。早在80年代,贝叶斯网络就成功地应用于专家系统,成为表示不确定性专家知识和推理的一种流行方法。90年代以来,贝叶斯学习一直是机器学习研究的重要方向。由于概率统计与数据采掘的     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

小数据集条件下基于双重约束的BN参数学习

针对小数据集条件下的贝叶斯网络（Bayesian network,BN）参数学习问题,提出了一种基于双重约束的贝叶斯网络参数学习方法. 首先,对网络中的参数进行分析并将网络中的参数划分为： 父节点组合状态相同而子节点状态不同的参数和父节点组合状态不同而子节点状态相同的参数;然后,针对第一类参数提出了一种新的基于Beta分布拟合的贝叶斯估计方法,而针对第二类参数利用已有的保序回归估计方法进行学习,进而实现了对网络中参数的双重约束学习;最后,通过仿真实例说明了基于双重约束的参数学习方法对小数据集条件下贝叶斯网络参数学习精度提高的有效性.     

小数据集贝叶斯网络多父节点参数的修复

具有已知结构的小数据集贝叶斯网络多父节点参数学习是一个重要而困难的研究课题,由于信息不充分,使得无法直接对多父节点参数进行有效的估计,如何修复这些参数便是问题的核心.针对问题提出了一种有效的小数据集多父节点参数修复方法,该方法首先使用Bootstrap抽样扩展小数据集,然后分别将Gibbs抽样与最大似然树和贝叶斯网络相结合,通过依次对扩展数据按一定比例的迭代修正来实现对多父节点参数的修复.实验结果表明,这种方法能够有效地使大部分多父节点参数得到修复.     

小样本贝叶斯网络结构学习的KDE-CGA算法

针对小样本数据条件下的贝叶斯网络结构学习,首先利用核密度估计(Kernel Density Estimation,KDE)对小规模样本数据进行拓展,然后引用云遗传算法(Cloud Theory-based Genetic Algotithm,CGA)对贝叶斯网络结构进行学习。通过优化改进核密度函数及其窗宽提高数据拓展效果;通过将云理论引入遗传算法中,自适应地改变交叉率和变异率,避免了算法局部寻优问题。仿真结果验证了该算法的有效性。     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.     

基于遗传算法的Bayesian网结构增量学习的研究

已建成的Bayesian网与领域环境间可能存在较大偏差,加之领域本身固有的动态变化特性,因此在观察到新数据时,改善Bayesian网的性能和优化网络结构是十分必要的.提出了一种基于遗传算法的Bayesian网(包含结构和参数)求精算法.该算法基于上次的求精结果把已有的不完备数据转化成完备数据,以期望充分统计因子作为已有数据的主要存储形式,基于本次求精过程中的当前最佳个体对新数据进行完备化,并由遗传操作综合利用新数据和已有数据进行求精.模拟实验结果表明,该增量学习算法能较有效地从不完备数据中求精Bayesian网.     

Being Bayesian About Network Structure. A Bayesian Approach to Structure Discovery in Bayesian Networks

In many multivariate domains, we are interested in analyzing the dependency structure of the underlying distribution, e.g., whether two variables are in direct interaction. We can represent dependency structures using Bayesian network models. To analyze a given data set, Bayesian model selection attempts to find the most likely (MAP) model, and uses its structure to answer these questions. However, when the amount of available data is modest, there might be many models that have non-negligible posterior. Thus, we want compute the Bayesian posterior of a feature, i.e., the total posterior probability of all models that contain it. In this paper, we propose a new approach for this task. We first show how to efficiently compute a sum over the exponential number of networks that are consistent with a fixed order over network variables. This allows us to compute, for a given order, both the marginal probability of the data and the posterior of a feature. We then use this result as the basis for an algorithm that approximates the Bayesian posterior of a feature. Our approach uses a Markov Chain Monte Carlo (MCMC) method, but over orders rather than over network structures. The space of orders is smaller and more regular than the space of structures, and has much a smoother posterior landscape. We present empirical results on synthetic and real-life datasets that compare our approach to full model averaging (when possible), to MCMC over network structures, and to a non-Bayesian bootstrap approach.     

基于加性协同的离散贝叶斯网络参数学习

针对小数据集条件下离散BN参数学习的问题,为了将加性协同约束融入到BN参数学习过程中,通过借鉴经典保序回归算法的思想,提出四种处理加性协同约束的方法,进而利用经典的草地湿润模型对改进算法进行仿真,并与最大似然估计算法进行对比,仿真结果表明,改进算法在精度上有一定优势,能够很好的对最大似然估计算法进行修正,得到相对准确的参数,然而时效性则劣于最大似然估计算法.进一步将改进算法应用到弹道导弹突防模型的参数学习中,通过推理分析验证算法的有效性.