具有丢失数据的可分解马尔可夫网络结构学习

具有丢失数据的可分解马尔可夫网络结构学习是一个重要而困难的研究课题,数据的丢失使变量之间的依赖关系变得混乱,无法直接进行可靠的结构学习．文章结合最大似然树和Gibbs抽样,通过对随机初始化的丢失数据和最大似然树进行迭代修正一调整,得到修复后的完整数据集;在此基础上基于变量之间的基本依赖关系和依赖分析思想进行可分解马尔可夫网络结构学习,能够避免现有的丢失数据处理方法和可分解马尔可夫网络结构学习方法存在的效率和可靠性低等问题．试验结果显示,该方法能够有效地进行具有丢失数据的可分解马尔可夫网络结构学习．     

用于因果分析的混合贝叶斯网络结构学习

目前主要结合扩展的熵离散化方法和打分一搜索方法进行混合贝叶斯网络结构学习，算法效率和可靠性低，而且易于陷入局部最优结构。针对问题建立了一种新的混合贝叶斯网络结构迭代学习方法．在迭代中，基于父结点结构和Gibbs sampling进行混合数据聚类，实现对连续变量的离散化，再结合贝叶斯网络结构优化调整，使贝叶斯网络结构序列逐渐趋于稳定，可避免使用扩展的熵离散化和打分——搜索所带来的主要问题．     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.     

小数据集的贝叶斯网络结构学习

针对直接基于小数据集贝叶斯网络结构学习不可靠, 以及目前对小数据集的处理只强调扩展而忽略对扩展数据的修正等, 提出了将扩展与修正相结合的小数据集处理机制, 以及在此基础上的基于结点排序和局部打分--搜索的贝叶斯网络结构学习方法. 可不需要完全结点顺序的先验知识, 但能够结合专家的部分结点顺序信息. 实验结果显示了这种方法的有效性和可靠性.     

具有隐藏变量的贝叶斯网络结构学习

目前,学习具有隐藏变量的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法,其效率和可靠性低.本文针对此问题建立一种新的具有隐藏变量贝叶斯网络结构学习方法.该方法首先依据变量之间基本依赖关系、基本结构和依赖分析思想进行不考虑隐藏变量的贝叶斯网络结构学习,然后利用贝叶斯网络道德图中的Cliques发现隐藏变量的位置,最后基于依赖结构、Gibbs sampling和MDL标准确定隐藏变量的取值、维数和局部结构.该方法能够避免标准Gibbs sampling的指数复杂性问题和现有学习方法存在的主要问题.实验结果表明,该方法能够有效进行具有隐藏变量的贝叶斯网络结构学习.     

小数据集贝叶斯网络多父节点参数的修复

具有已知结构的小数据集贝叶斯网络多父节点参数学习是一个重要而困难的研究课题,由于信息不充分,使得无法直接对多父节点参数进行有效的估计,如何修复这些参数便是问题的核心.针对问题提出了一种有效的小数据集多父节点参数修复方法,该方法首先使用Bootstrap抽样扩展小数据集,然后分别将Gibbs抽样与最大似然树和贝叶斯网络相结合,通过依次对扩展数据按一定比例的迭代修正来实现对多父节点参数的修复.实验结果表明,这种方法能够有效地使大部分多父节点参数得到修复.     

具有丢失数据的TAN分类器学习

TAN分类器以良好的分类性能而著称,但分类器本身和归纳学习算法并不具有处理丢失数据的能力,而现有的用于分类技术中丢失数据处理的方法在可靠性方面均不同程度地存在一些缺陷.本文针对问题,结合TAN结构和Gibbs sampling进行具有丢失数据的分类器迭代学习,在迭代中,TAN结构学习、参数学习和丢失数据修复交替进行,随着迭代的收敛,最终将得到TAN分类器,同时丢失的数据也得到修复.     

贝叶斯网络结构学习的简化贪婪算法

基于数据的贝叶斯网络结构学习是一个NP难题.基于条件约束和评分搜索相结合的方法是贝叶斯网络结构学习的一个热点.基于互信息理论提出一种最大支撑树(MWST)机制,并基于最大支撑树结合贪婪搜索的思想提出一种简化贪婪算法.简化贪婪算法不依赖先验知识,完全基于数据集.首先,通过计算互信息建立目标网络的最大支撑树;然后,在最大支撑树的基础上学习初始网络结构,最后,利用简化搜索机制对初始结构进一步优化,最终完成贝叶斯网络的结构学习.数据仿真实验证明,简化贪婪算法不仅具有很高的精度而且具有高效率.     

利用互信息学习贝叶斯网络结构

由数据构造贝叶斯网络结构是NP-难问题,因此提出了一种基于互信息的改进算法.该算法根据互信息构造初始框架,其次利用最大支撑树算法精简初始框架,并通过条件独立测试添加方向,最后利用贪婪算法得到最优网络结构.数值实验表明,改进算法无论是在B IC的得分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构.     

完备数据集上贝叶斯网络结构学习研究

贝叶斯网络是用来描述不确定变量之间潜在依赖关系的图形模型。从完备数据集上学习贝叶斯网络是一个研究热点。分析了完备数据集上构建贝叶斯网的常见理论方法。     

Robust Learning with Missing Data

This paper introduces a new method, called the robust Bayesian estimator (RBE), to learn conditional probability distributions from incomplete data sets. The intuition behind the RBE is that, when no information about the pattern of missing data is available, an incomplete database constrains the set of all possible estimates and this paper provides a characterization of these constraints. An experimental comparison with two popular methods to estimate conditional probability distributions from incomplete data—Gibbs sampling and the EM algorithm—shows a gain in robustness. An application of the RBE to quantify a naive Bayesian classifier from an incomplete data set illustrates its practical relevance.     

混合贝叶斯网络隐藏变量学习研究

目前,具有已知结构的隐藏变量学习主要针对具有离散变量的贝叶斯网和具有连续变量的高斯网．该文给出了具有连续和离散变量的混合贝叶斯网络隐藏变量学习方法．该方法不需要离散化连续变量,依据专业知识或贝叶斯网络道德图中Cliques的维数发现隐藏变量的位置,基于依赖结构（星形结构或先验结构）和Gibbs抽样确定隐藏变量的值,结合扩展的MDL标准和统计方法发现隐藏变量的最优维数．实验结果表明,这种方法能够有效地进行具有已知结构的混合贝叶斯网络隐藏变量学习．     

基于贝努里分布的贝叶斯网络结构学习算法

目前,学习具有丢失数据的贝叶斯网络结构主要采用结合EM算法的打分-搜索方法和基于依赖分析的思想,其效率和可靠性比较低.本文针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先根据贝努里分布来表示数据库中变量结点之间的关系,并用Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据Gibbs取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准Gibbs取样的指数复杂性问题和现有学习方法存在的主要问题.     

Learning Bayesian Networks: The Combination of Knowledge and Statistical Data

We describe a Bayesian approach for learning Bayesian networks from a combination of prior knowledge and statistical data. First and foremost, we develop a methodology for assessing informative priors needed for learning. Our approach is derived from a set of assumptions made previously as well as the assumption of likelihood equivalence, which says that data should not help to discriminate network structures that represent the same assertions of conditional independence. We show that likelihood equivalence when combined with previously made assumptions implies that the user's priors for network parameters can be encoded in a single Bayesian network for the next case to be seen—a prior network—and a single measure of confidence for that network. Second, using these priors, we show how to compute the relative posterior probabilities of network structures given data. Third, we describe search methods for identifying network structures with high posterior probabilities. We describe polynomial algorithms for finding the highest-scoring network structures in the special case where every node has at most k = 1 parent. For the general case (k > 1), which is NP-hard, we review heuristic search algorithms including local search, iterative local search, and simulated annealing. Finally, we describe a methodology for evaluating Bayesian-network learning algorithms, and apply this approach to a comparison of various approaches.     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.