具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

贝叶斯网络结构学习的简化贪婪算法

基于数据的贝叶斯网络结构学习是一个NP难题.基于条件约束和评分搜索相结合的方法是贝叶斯网络结构学习的一个热点.基于互信息理论提出一种最大支撑树(MWST)机制,并基于最大支撑树结合贪婪搜索的思想提出一种简化贪婪算法.简化贪婪算法不依赖先验知识,完全基于数据集.首先,通过计算互信息建立目标网络的最大支撑树;然后,在最大支撑树的基础上学习初始网络结构,最后,利用简化搜索机制对初始结构进一步优化,最终完成贝叶斯网络的结构学习.数据仿真实验证明,简化贪婪算法不仅具有很高的精度而且具有高效率.     

贝叶斯网络适应性学习

在现实中,随着对领域问题认识的深入,往往需要对贝叶斯网络进行调整,以使贝叶斯网络模型能够更好地反映实际问题.但调整后的贝叶斯网络中一些新参数需要根据原有贝叶斯网络来确定,目前缺乏对新参数学习方法的研究.本文基于专家知识调整贝叶斯网络结构,将原贝叶斯网络和新贝叶斯网络相结合,通过推理进行新参数的迭代学习,可实现贝叶斯网络的适应性学习.     

贝叶斯网络结构学习综述

贝叶斯网络是一种有效的不确定性知识表达和推理工具,在数据挖掘等领域得到了较好的应用,而结构学习是其重要研究内容之一.经过二十多年的发展,已经出现了一些比较成熟的贝叶斯网络结构学习算法,对迄今为止的贝叶斯网络结构学习方法进行了综述.现阶段获得的用于结构学习的观测数据都比较复杂,这些数据分为完备数据和不完备数据两种类型.针对完备数据,分别从基于依赖统计分析的方法、基于评分搜索的方法和混合搜索方法三个方面对已有的算法进行分析.对于不完备数据,给出了数据不完备情况下网络结构的学习框架.在此基础上归纳总结了贝叶斯网络结构学习各个方向的研究进展,给出了贝叶斯网络结构学习未来可能的研究方向.     

基于集成学习和反馈策略的贝叶斯网络结构学习

为解决单一结构学习算法中普遍存在的学习效果差、易陷入局部最优等问题,本文通过引入最大信息系数MIC(Maximal Information Coefficient)和集成学习思想,提出了一种新的贝叶斯网络结构学习算法.该算法首先利用MIC确定节点间的依赖关系并得到初始网络,接着使用Bootstrap方法对数据样本进行采样获得若干样本集.依次使用每个样本集,在给定初始网络的基础上,通过BDe评分和禁忌搜索算法训练生成贝叶斯网络并将其用邻接矩阵表示.进而利用集成学习策略,根据得到的若干邻接矩阵计算每条边的权重,并通过设定权重阈值得到集成学习结果.根据集成学习结果利用反馈策略更新初始网络并进入下一次迭代,经过不断迭代最终得到贝叶斯网络结构.最后在7种不同大小的标准数据集中进行实验,计算F1值(F1-score)、汉明距离HD(Hamming Distance)和学习到的正确边数(TP),并与其它算法进行对比分析.结果 表明本文提出的算法在可行性、有效性和普适性上更优.     

具有传递变量的动态贝叶斯网络结构学习

针对现有学习方法对完全时间不对称数据的动态贝叶斯网络学习不具有实用性,提出一种借助传递变量进行完全时间不对称数据的动态贝叶斯网络结构学习方法.首先进行相邻时间片间的传递变量序列学习;然后,基于节点排序和局部打分一搜索,进行动态贝叶斯网络局部结构学习;最后通过时序扩展得到整个动态贝叶斯网络结构.     

具有隐藏变量的贝叶斯网络结构学习

目前,学习具有隐藏变量的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法,其效率和可靠性低.本文针对此问题建立一种新的具有隐藏变量贝叶斯网络结构学习方法.该方法首先依据变量之间基本依赖关系、基本结构和依赖分析思想进行不考虑隐藏变量的贝叶斯网络结构学习,然后利用贝叶斯网络道德图中的Cliques发现隐藏变量的位置,最后基于依赖结构、Gibbs sampling和MDL标准确定隐藏变量的取值、维数和局部结构.该方法能够避免标准Gibbs sampling的指数复杂性问题和现有学习方法存在的主要问题.实验结果表明,该方法能够有效进行具有隐藏变量的贝叶斯网络结构学习.     

基于差分进化策略的贝叶斯网络结构学习方法

针对目前主流的利用启发式搜索算法进行贝叶斯网络结构学习时,初始种群难以确定且容易陷入局部最优的问题,提出了基于部分互信息和改进差分进化算法相结合的混合算法.算法首先利用节点之间的部分互信息为依据构建初始种群,再将动态因子引入差分进化算法平衡了算法的全局寻优和局部搜索能力,最后对贝叶斯网络结构进行寻优.在两个标准网络Asia和Car网络中进行仿真,并与遗传算法和爬山算法进行对比,仿真结果表明算法在冗余边、缺失边、反向边以及算法的学习性能方面均有不同程度的提升,算法能够得到较好的贝叶斯网络结构,并有更高的数据拟合度.     

基于差分进化策略的贝叶斯网络结构学习方法

针对目前主流的利用启发式搜索算法进行贝叶斯网络结构学习时,初始种群难以确定且容易陷入局部最优的问题,提出了基于部分互信息和改进差分进化算法相结合的混合算法.算法首先利用节点之间的部分互信息为依据构建初始种群,再将动态因子引入差分进化算法平衡了算法的全局寻优和局部搜索能力,最后对贝叶斯网络结构进行寻优.在两个标准网络Asia和Car网络中进行仿真,并与遗传算法和爬山算法进行对比,仿真结果表明算法在冗余边、缺失边、反向边以及算法的学习性能方面均有不同程度的提升,算法能够得到较好的贝叶斯网络结构,并有更高的数据拟合度.     

一种基于预排序的贝叶斯网络结构学习算法

贝叶斯网络结构学习对贝叶斯网络解决实际问题至关重要.基于评分与搜索的方法是目前比较常用的结构学习方法,但该类方法中结构搜索空间的大小随结点个数增加而指数增长,因此一般采用启发式搜索策略,有些方法还需要结点次序.在基于结点次序的最大相关-最小冗余贪婪贝叶斯网络结构学习算法中,由于是随机产生初始结点的次序,这增大了结果的不确定性.本文提出一种生成优化结点初始次序的方法,在得到基本有序的结点初始次序后,再结合近邻交换算子进行迭代搜索,能够在较短的时间内得到更加正确的贝叶斯网络结构.实验结果表明了该方法的有效性.     

基于因果语义定向的贝叶斯网络结构学习

基于变量之间基本依赖关系、基本结构、d-separation标准、依赖分析思想和混合定向策略,给出了一种有效实用的贝叶斯网络结构学习方法,不需要结点有序,并能避免打分-搜索方法存在的指数复杂性,以及现有依赖分析方法的大量高维条件概率计算等问题。     

动态贝叶斯网络结构学习的依赖分析方法研究

针对现有动态贝叶斯网络结构学习方法具有低效率和低可靠性等问题,基于变量之间的基本依赖关系和依赖分析方法进行动态贝叶斯网络结构学习。建立变量之间依赖关系草图,通过条件独立行检验去除多余的边,使用碰撞识别和条件相对预测能力确定边的方向,便可得到构成动态贝叶斯网络结构的先验网和转换网。该方法在效率和可靠性方面均具有优势。     

基于结点排序的贝叶斯网络结构学习

给出了变量之间k阶分类能力的概念及计算方法,并证明了k阶分类能力就是k阶分类正确率,以及k阶分类能力和条件独立性的等价性,在此基础上构造出基于分类能力的贝叶斯网络结构打分函数,同时结合依赖分析方法和打分-搜索方法建立了有效的贝叶斯网络结构学习方法,实验结果显示该方法能够有效地进行贝叶斯网络结构学习,并使学习得到的结构倾向于简单化。     

基于专家知识融合的贝叶斯网络结构学习方法

基于数据学习的贝叶斯网络结构学习算法因搜索空间大而效率低。领域专家可根据自己的经验知识确定网络结构中固有的因果关系。通过收集不同专家的意见,并利用证据理论进行综合,确定其中的部分因果关系,去除其中无意义的因果关系,然后利用常用的学习算法进行学习,减小搜索空间,提高算法效率。实验结果表明基于专家知识融合的贝叶斯网络构造方法利用专家知识来限制学习算法的搜索条件,有效地缩小了搜索空间,利用证据理论综合多个专家知识,防止了单个专家的主观片面性,能够有效地提高学习效率。     

混合贝叶斯网络隐藏变量学习研究

目前,具有已知结构的隐藏变量学习主要针对具有离散变量的贝叶斯网和具有连续变量的高斯网．该文给出了具有连续和离散变量的混合贝叶斯网络隐藏变量学习方法．该方法不需要离散化连续变量,依据专业知识或贝叶斯网络道德图中Cliques的维数发现隐藏变量的位置,基于依赖结构（星形结构或先验结构）和Gibbs抽样确定隐藏变量的值,结合扩展的MDL标准和统计方法发现隐藏变量的最优维数．实验结果表明,这种方法能够有效地进行具有已知结构的混合贝叶斯网络隐藏变量学习．     

具有丢失数据的可分解马尔可夫网络结构学习

具有丢失数据的可分解马尔可夫网络结构学习是一个重要而困难的研究课题，数据的丢失使变量之间的依赖关系变得混乱，无法直接进行可靠的结构学习．文章结合最大似然树和Gibbs抽样，通过对随机初始化的丢失数据和最大似然树进行迭代修正一调整，得到修复后的完整数据集；在此基础上基于变量之间的基本依赖关系和依赖分析思想进行可分解马尔可夫网络结构学习，能够避免现有的丢失数据处理方法和可分解马尔可夫网络结构学习方法存在的效率和可靠性低等问题．试验结果显示，该方法能够有效地进行具有丢失数据的可分解马尔可夫网络结构学习．     

基于频繁项挖掘的贝叶斯网络结构学习算法BNSL-FIM

贝叶斯网络能够表示不确定知识并进行推理计算表达,但由于实际样本数据存在噪声和大小限制以及网络空间搜索的复杂性,贝叶斯网络结构学习始终会存在一定的误差。为了提高贝叶斯网络结构学习的准确度,提出了以最大频繁项集和关联规则分析结果为先验知识的贝叶斯网络结构学习算法BNSL-FIM 。首先从数据中挖掘出最大频繁项集并对该项集进行结构学习,之后使用关联规则分析结果对其进行校正,从而确定基于频繁项挖掘和关联规则分析的先验知识。然后提出一种融合先验知识的BDeu评分算法进行贝叶斯网络结构学习。最后在6个公开标准的数据集上开展了实验,并对比引入先验/不引入先验的结构与原始网络结构的汉明距离,结果表明所提算法与未引入先验的BDeu评分算法相比显著提高了贝叶斯网络结构学习的准确度。     

小数据集的贝叶斯网络结构学习

针对直接基于小数据集贝叶斯网络结构学习不可靠, 以及目前对小数据集的处理只强调扩展而忽略对扩展数据的修正等, 提出了将扩展与修正相结合的小数据集处理机制, 以及在此基础上的基于结点排序和局部打分--搜索的贝叶斯网络结构学习方法. 可不需要完全结点顺序的先验知识, 但能够结合专家的部分结点顺序信息. 实验结果显示了这种方法的有效性和可靠性.     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.