贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

基于先验节点序学习贝叶斯网络结构的优化方法

针对小样本数据集下学习贝叶斯网络 (Bayesian networks, BN)结构的不足, 以及随着条件集的增大, 利用统计方法进行条件独立 (Conditional independence, CI) 测试不稳定等问题, 提出了一种基于先验节点序学习网络结构的优化方法. 新方法通过定义优化目标函数和可行域空间, 首次将贝叶斯网络结构学习问题转化为求解目标函数极值的数学规划问题, 并给出最优解的存在性及唯一性证明, 为贝叶斯网络的不断扩展研究提出了新的方案. 理论证明以及实验结果显示了新方法的正确性和有效性.     

基于双尺度约束模型的BN结构自适应学习算法

在无先验信息的情况下, 贝叶斯网络(Bayesian network, BN)结构搜索空间的规模随节点数目增加呈指数级增长, 造成BN结构学习难度急剧增加. 针对该问题, 提出基于双尺度约束模型的BN结构自适应学习算法. 该算法利用最大互信息和条件独立性测试构建大尺度约束模型, 完成BN结构搜索空间的初始化. 在此基础上设计改进遗传算法, 在结构迭代优化过程中引入小尺度约束模型, 实现结构搜索空间小尺度动态缩放. 同时, 在改进遗传算法中构建变异概率自适应调节函数, 以降低结构学习过程陷入局部最优解的概率. 仿真结果表明, 提出的基于双尺度约束模型的BN结构自适应学习算法能够在无先验信息的情况下保证BN结构学习的精度和迭代寻优的收敛速度.     

基于变权重迁移学习的BN参数学习算法

针对小数据集条件下的贝叶斯网络(Bayesian network,BN)参数估计困难问题,提出了一种基于变权重迁移学习(DWTL)的BN参数学习算法。首先,利用MAP和MLE方法学习得到目标域初始参数和各源域参数;然后根据不同源域数据样本贡献的不同计算源权重因子;接着基于目标域样本统计量与小数据集样本阈值的关系设计了目标域初始参数和源域参数的平衡系数;最后,基于上述参数、源权重因子和平衡系数计算得到新的目标参数。在实验研究中,通过对经典BN模型的参数学习问题验证了DWTL算法的有效性;针对小数据集下的轴承故障诊断问题,相较于传统迁移学习(LP)算法,DWTL算法学习精度提高了10%。实验结果表明:所提出的算法能够较好地解决样本数据集在相对稀缺条件下的目标参数建模问题。     

基于遗传算法的贝叶斯网分解

首先定义了贝叶斯网(BN)分解的相关概念,提出了基于遗传算法的BN分解算法(BDGA),给出了BDGA算法的编码和适应度函数的表示方法,设计了BDGA算法的选择、交叉、变异算子,并得到不同种群大小情况下四个贝叶斯网Medianus Ⅰ、MedianusⅡ、Sparse和Dense的分解结果.结果表明BDGA能有效搜索全局最优的BN分解结构,在和Kjaerulff综合的采用10种算法分解这四种贝叶斯网的结果相比,BDGA算法超过10种算法的9个,和模拟退火算法具有同样好的结果.BDGA算法能实现准确求解BN的分解结构,为实现BN的联合树结构上的推理奠定了基础.     

一种学习稀疏BN最优结构的改进K均值分块学习算法

目前贝叶斯网络(Bayesian networks, BN)的传统结构学习算法在处理高维数据时呈现出计算负担过大、在合理时间内难以得到期望精度结果的问题.为了在高维数据下学习稀疏BN的最优结构, 本文提出了一种学习稀疏BN最优结构的改进K均值分块学习算法.该算法采用分而治之的策略, 首先采用互信息作为节点间距离度量, 利用融合互信息的改进K均值算法对网络分块; 其次, 使用MMPC (Max-min parent and children)算法得到整个网络的架构, 根据架构找到块间所有边的可能连接方向, 从而找到所有可能的图结构; 之后, 对所有图结构依次进行结构学习; 最终利用评分找到最优BN.实验证明, 相比现有分块结构学习算法, 本文提出的算法不仅习得了网络的精确结构, 且学习速度有一定提高; 相比非分块经典结构学习算法, 本文提出的算法在保证精度基础上, 学习速度大幅提高, 解决了非分块经典结构学习算法无法在合理时间内处理高维数据的难题.     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

动态直觉模糊多属性决策的VIKOR扩展方法

隐变量是观察不到或虚拟的变量,直接利用数据驱动的学习方法难以有效地发现隐变量,因而需要结合概率图结构分析的方法。针对基于结构分析的隐变量发现方法中难以确定隐变量个数和位置的问题,提出一种基于结构分解和因子分析的隐变量发现算法(S-FAHF)。S-FAHF算法利用联合树算法生成具较强依赖关系的变量子集,利用因子分析思想,通过求变量子集的特征值和累积贡献率确定变量子集中隐变量的个数,利用负荷矩阵确定隐变量的位置,最后利用打分函数测试所发现的隐变量的有效性。通过算法比较和实验结果表明,该方法能准确地确定贝叶斯网络中隐变量的个数及位置。     

一种快速的贝叶斯网结构学习算法

贝叶斯网是不确定性问题知识表达和推理中最重要的一个理论模型．迄今为止人们提出了许多贝叶斯网结构学习算法,基于约束满足和评分搜索相结合的混合方法是其中的一个研究热点．以I—B＆B—MDL为基础,提出了一种快速的学习算法．新算法不仅利用约束知识来压缩搜索空间,而且还用它作为启发知识来引导搜索．首先利用0阶和少量的1阶测试有效地限制搜索空间,获得网络候选的连接图,减少了独立性测试及对数据库的扫描次数,然后利用互信息作为启发性知识来引导搜索,增加了B＆B搜索树的截断．在通用数据集上的实验表明：快速算法能够有效地处理大规模数据,且学习速度有较大改进．     

约束条件下BN参数最大熵模型扩展学习算法

在很多智能系统的参数建模时,用户往往面对建模样本稀少的困境。针对在小数据集条件下贝叶斯网络（BN）参数建模的问题,提出了一种约束数据最大熵BN参数学习算法（CDME）。首先利用小数据集估算BN参数,随后把定性的专家经验转换为不等式约束,并利用Bootstrap算法生成满足约束的一组参数候选集,再根据信息最大熵进行加权计算出BN参数。实验结果表明,当数据量充分时,CDME参数学习算法与经典的MLE算法的学习精度近似,表明了算法的正确性;在小数据集条件下,利用CDME算法,可以对BN进行参数建模,学习精度优于MLE算法和QMAP算法。CDME算法在实际故障诊断样本数据相对稀缺的条件下,获取了诊断BN模型参数,在此基础上完成的诊断推理结果也印证了算法的有效性,为小数据集条件下的参数建模提供了一条新途径。     

由Markov网到Bayesian网

Markov网（马尔可夫网）是类似于Bayesian网（贝叶斯网）的另一种进行不确定性揄的有力工具，Markov网是一个无向图，而Bayesian网是一个有向无环图，发现Markov网不需要发现边的方向，因此要比发现Bayesian网容易得多，提出了一种通过发现Markov网得到等价的Bayesian网的方法，首先利用信息论中验证信息独立的一个重要结论，提出了一个基于依赖分析的边删除算法发现Markov网，该算法需O（n^2)次CI（条件独立）测试，CI测试的时间复杂度取决于由样本数据得到的联合概率函数表的大小，经证明，假如由样本数据得到的联合概率函数严格为正，则该算法发现的Markov网一定是样本的最小L图，由发现Markov网，根据表示的联合概率函数相等，得到与其等价的Bayesian网。     

Learning Causal Bayesian Networks Using Minimum Free Energy Principle

Constraint-based search methods, which are a major approach to learning Bayesian networks, are expected to be effective in causal discovery tasks. However, such methods often suffer from impracticality of classical hypothesis testing for conditional independence when the sample size is insufficiently large. We present a new conditional independence (CI) testing method that is designed to be effective for small samples. Our method uses the minimum free energy principle, which originates from thermodynamics, with the “Data Temperature” assumption recently proposed by us. This CI method incorporates the maximum entropy principle and converges to classical hypothesis tests in asymptotic regions. In our experiments using repository datasets (Alarm/Insurance/Hailfinder/Barley/Mildew), the results show that our method improves the learning performance of the well known PC algorithm in the view of edge-reversed errors in addition to extra/missing errors.     

LEARNING STRUCTURED BAYESIAN NETWORKS: COMBINING ABSTRACTION HIERARCHIES AND TREE-STRUCTURED CONDITIONAL PROBABILITY TABLES

Context-specific independence representations, such as tree-structured conditional probability distributions, capture local independence relationships among the random variables in a Bayesian network (BN). Local independence relationships among the random variables can also be captured by using attribute-value hierarchies to find an appropriate abstraction level for the values used to describe the conditional probability distributions. Capturing this local structure is important because it reduces the number of parameters required to represent the distribution. This can lead to more robust parameter estimation and structure selection, more efficient inference algorithms, and more interpretable models. In this paper, we introduce Tree-Abstraction-Based Search (TABS), an approach for learning a data distribution by inducing the graph structure and parameters of a BN from training data. TABS combines tree structure and attribute-value hierarchies to compactly represent conditional probability tables. To construct the attribute-value hierarchies, we investigate two data-driven techniques: a global clustering method, which uses all of the training data to build the attribute-value hierarchies, and can be performed as a preprocessing step; and a local clustering method, which uses only the local network structure to learn attribute-value hierarchies. We present empirical results for three real-world domains, finding that (1) combining tree structure and attribute-value hierarchies improves the accuracy of generalization, while providing a significant reduction in the number of parameters in the learned networks, and (2) data-derived hierarchies perform as well or better than expert-provided hierarchies.     

基于信息论的Bayesian网络结构学习算法研究

Bayesian网是一种进行不确定性推理的有力工具,它结合图型理论和概率理论,可以方便地表示和计算我们感兴趣的事件概率,同时也是对实体之间依赖关系提供了一种紧凑、直观、有效的图形表示。文中基于信息论中测试信息独立理论,对Bayesian网中各结点进行条件独立(CI)测试,以发现各结点的条件依赖关系,并通过计算结点之间的互相依赖度以发现Bayesian网边的方向,从而构造Bayesian网结构,算法的计算复杂度只需要进行O(N²)次CI测试。     

Efficient Markov Network Structure Discovery Using Independence Tests

We present two algorithms for learning the structure of a Markov network from data: GSMN* and GSIMN. Both algorithms use statistical independence tests to infer the structure by successively constraining the set of structures consistent with the results of these tests. Until very recently, algorithms for structure learning were based on maximum likelihood estimation, which has been proved to be NP-hard for Markov networks due to the difficulty of estimating the parameters of the network, needed for the computation of the data likelihood. The independence-based approach does not require the computation of the likelihood, and thus both GSMN* and GSIMN can compute the structure efficiently (as shown in our experiments). GSMN* is an adaptation of the Grow-Shrink algorithm of Margaritis and Thrun for learning the structure of Bayesian networks. GSIMN extends GSMN* by additionally exploiting Pearl's well-known properties of the conditional independence relation to infer novel independences from known ones, thus avoiding the performance of statistical tests to estimate them. To accomplish this efficiently GSIMN uses the Triangle theorem, also introduced in this work, which is a simplified version of the set of Markov axioms. Experimental comparisons on artificial and real-world data sets show GSIMN can yield significant savings with respect to GSMN*, while generating a Markov network with comparable or in some cases improved quality. We also compare GSIMN to a forward-chaining implementation, called GSIMN-FCH, that produces all possible conditional independences resulting from repeatedly applying Pearl's theorems on the known conditional independence tests. The results of this comparison show that GSIMN, by the sole use of the Triangle theorem, is nearly optimal in terms of the set of independences tests that it infers.