多维贝叶斯网络分类器结构学习算法

传统多维贝叶斯网络分类器(MBNC)限制其模型结构必须是二分的,通过移除该限制可得到更准确的对关联分布建模的通用MBNC(GMBNC)。基于局部马尔可夫毯的迭代搜索,提出可准确学习GMBNC的算法IPC-GMBNC。该算法由于无需学习全局贝叶斯网络(BN),可扩展性强。基于已知贝叶斯网络模型而随机生成的数据上所执行的实验显示,IPC-GMBNC可有效推导出目标结构;而且与传统的全局结构学习算法PC相比,IPC-GMBNC可节省大量的计算量。     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

基于BIC测度和混合遗传算法的BNC结构学习

贝叶斯网络分类器（BNC）结构学习是一个NP难题。贪婪搜索（GS）算法是一种有效且准确性较高的结构学习算法，但贪婪搜索算法很容易陷人局部最优。标准遗传算法是一种全局搜索优化算法，它通过模拟生物种群的进化过程，得到全局最优解。但就其个体而言，个体局部解的质量无法保证，不具备局部寻优的能力。提出了将两种算法相结合，以贝叶斯信息标准（BIC）测度为评价函数，得到一种混合遗传算法，实现了它们的优势互补。实验表明：该算法优于单独利用GS算法进行Bayesian网络结构学习，从而说明该算法的正确性和有效性。     

基于BIC测度和混合遗传算法的BNC结构学习

贝叶斯网络分类器(BNC)结构学习是一个NP难题。贪婪搜索(GS)算法是一种有效且准确性较高的结构学习算法,但贪婪搜索算法很容易陷入局部最优。标准遗传算法是一种全局搜索优化算法,它通过模拟生物种群的进化过程,得到全局最优解。但就其个体而言,个体局部解的质量无法保证,不具备局部寻优的能力。提出了将两种算法相结合,以贝叶斯信息标准(BIC)测度为评价函数,得到一种混合遗传算法,实现了它们的优势互补。实验表明:该算法优于单独利用GS算法进行Bayesian网络结构学习,从而说明该算法的正确性和有效性。     

基于BIC测度和遗传算法的TANC结构学习

树扩展朴素贝叶斯分类器（TANC）是实用性较强的一种分类器，其性能优于朴素贝叶斯分类器。现有的TANC结构学习算法有基于互信息测度的相关性分析方法和贝叶斯信息测度（BIC）的搜索打分方法。将遗传算法引入TANC结构学习，用BIC作为评价函数，提出了基于BIC测度和遗传算法的TANC结构学习算法GA—TANC，并以此构建分类器，用分类准确率衡量算法的性能。实验结果表明，GA—TANC算法有更高的分类准确率，从而说明GA—TANC结构学习算法是准确有效的。     

基于GATS贝叶斯网络结构学习的航班延误模型

对遗传算法（GA）贝叶斯网络（BN）结构学习和禁忌搜索算法（TS）进行分析,提出遗传禁忌搜索贝叶斯网络结构学习算法GATS_BNSL。把禁忌搜索思想引入到遗传算法BN结构学习由父代种群产生后代种群的演化过程中,以禁忌搜索交叉和禁忌搜索变异改进传统的遗传算子,对比实验分析表明了GATS_BNSL的学习优势。应用此方法,基于真实数据,建立了大型枢纽机场航班离港延误模型。该模型切实反映了导致航班延误的多因素之间的因果关系,而且建模时间少,学习正确率高。     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

基于结构学习的KNN分类算法

KNN（K-Nearest Neighbor）算法和贝叶斯网络分类算法（Bayesian Network，BN）都是目前应用非常广泛的分类算法。本文首先分析了KNN和BN的分类特点，然后在保留了两个算法在分类问题中优点的基础上，提出了基于贝叶斯网络结构学习的KNN算法（BN—KNN）。实验结果表明，BN—KNN算法能够有效地提高分类的正确率。     

TANC-BIC结构学习算法

树扩展朴素贝叶斯分类器(TANC)是应用较广的一种贝叶斯分类器。TANC的分类性能优于朴素贝叶斯分类器(NBC)。现有的TANC结构学习算法是基于相关性分析的,采用互信息测度。贝叶斯信息测度(BIC)在基于打分和搜索的贝叶斯网络结构学习中取得了成功,文中用BIC测度来衡量属性结点之间的相关性,提出了一种新的TANC-BIC结构学习算法。在MBNC实验平台上编程实现了TANC-BIC算法,用分类准确率衡量算法的性能。实验结果表明,TANC-BIC算法是有效的。     

TANC-BIC结构学习算法

树扩展朴素贝叶斯分类器(TANC)是应用较广的一种贝叶斯分类器.TANC的分类性能优于朴素贝叶斯分类器(NBC).现有的TANC结构学习算法是基于相关性分析的,采用互信息测度.贝叶斯信息测度(BIC)在基于打分和搜索的贝叶斯网络结构学习中取得了成功,文中用BIC测度来衡量属性结点之间的相关性,提出了一种新的TANC-BIC结构学习算法.在MBNC实验平台上编程实现了TANC-BIC算法,用分类准确率衡量算法的性能.实验结果表明,TANC-BIC算法是有效的.     

A hybrid algorithm for Bayesian network structure learning with application to multi-label learning

We present a novel hybrid algorithm for Bayesian network structure learning, called H2PC. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. The algorithm is based on divide-and-conquer constraint-based subroutines to learn the local structure around a target variable. We conduct two series of experimental comparisons of H2PC against Max–Min Hill-Climbing (MMHC), which is currently the most powerful state-of-the-art algorithm for Bayesian network structure learning. First, we use eight well-known Bayesian network benchmarks with various data sizes to assess the quality of the learned structure returned by the algorithms. Our extensive experiments show that H2PC outperforms MMHC in terms of goodness of fit to new data and quality of the network structure with respect to the true dependence structure of the data. Second, we investigate H2PC’s ability to solve the multi-label learning problem. We provide theoretical results to characterize and identify graphically the so-called minimal label powersets that appear as irreducible factors in the joint distribution under the faithfulness condition. The multi-label learning problem is then decomposed into a series of multi-class classification problems, where each multi-class variable encodes a label powerset. H2PC is shown to compare favorably to MMHC in terms of global classification accuracy over ten multi-label data sets covering different application domains. Overall, our experiments support the conclusions that local structural learning with H2PC in the form of local neighborhood induction is a theoretically well-motivated and empirically effective learning framework that is well suited to multi-label learning. The source code (in R) of H2PC as well as all data sets used for the empirical tests are publicly available.     

基于双尺度约束模型的BN结构自适应学习算法

在无先验信息的情况下, 贝叶斯网络(Bayesian network, BN)结构搜索空间的规模随节点数目增加呈指数级增长, 造成BN结构学习难度急剧增加. 针对该问题, 提出基于双尺度约束模型的BN结构自适应学习算法. 该算法利用最大互信息和条件独立性测试构建大尺度约束模型, 完成BN结构搜索空间的初始化. 在此基础上设计改进遗传算法, 在结构迭代优化过程中引入小尺度约束模型, 实现结构搜索空间小尺度动态缩放. 同时, 在改进遗传算法中构建变异概率自适应调节函数, 以降低结构学习过程陷入局部最优解的概率. 仿真结果表明, 提出的基于双尺度约束模型的BN结构自适应学习算法能够在无先验信息的情况下保证BN结构学习的精度和迭代寻优的收敛速度.     

基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法

贝叶斯网络分类器的精确构造是NP难问题,使用K2算法可以有效地缩减搜索空间,提高学习效率。然而K2算法需要初始的节点次序作为输入,这在缺少先验信息的情况下很难确定;另一方面,K2算法采用贪婪的搜索策略,容易陷入局部最优解。提出了一种基于条件互信息和概率突跳机制的贝叶斯网络结构学习算法(CMI-PK2算法),该算法首先利用条件互信息生成有效的节点次序作为K2算法的输入,然后利用概率突跳机制改进K2算法的搜索过程来提高算法的全局寻优能力,学习较为理想的网络结构。在两个基准网络Asia和Alarm上进行了实验验证,结果表明CMI-PK2算法具有更高的分类精度和数据拟合程度。     

改进遗传优化的贝叶斯网络结构学习

针对贝叶斯网络结构学习提出了一种改进的遗传算法,和传统遗传算法相比,该改进算法针对贝叶斯网络结构学习问题增加了优化变异和修正非法图两个新的算子。新算子不但保持了贝叶斯网络学习的多样性和正确性,而且还能保证算法快速搜索到全局最优的网络结构。将该改进遗传算法用于贝叶斯网络结构学习的仿真结果表明,和传统K2算法、GS／GES算法、遗传算法和粒子群算法等算法相比,该算法具有更好的全局搜索能力和收敛速度。     

New skeleton-based approaches for Bayesian structure learning of Bayesian networks

Automatically learning the graph structure of a single Bayesian network (BN) which accurately represents the underlying multivariate probability distribution of a collection of random variables is a challenging task. But obtaining a Bayesian solution to this problem based on computing the posterior probability of the presence of any edge or any directed path between two variables or any other structural feature is a much more involved problem, since it requires averaging over all the possible graph structures. For the former problem, recent advances have shown that search + score approaches find much more accurate structures if the search is constrained by a previously inferred skeleton (i.e. a relaxed structure with undirected edges which can be inferred using local search based methods). Based on similar ideas, we propose two novel skeleton-based approaches to approximate a Bayesian solution to the BN learning problem: a new stochastic search which tries to find directed acyclic graph (DAG) structures with a non-negligible score; and a new Markov chain Monte Carlo method over the DAG space. These two approaches are based on the same idea. In a first step, both employ a previously given skeleton and build a Bayesian solution constrained by this skeleton. In a second step, using the preliminary solution, they try to obtain a new Bayesian approximation but this time in an unconstrained graph space, which is the final outcome of the methods. As shown in the experimental evaluation, this new approach strongly boosts the performance of these two standard techniques proving that the idea of employing a skeleton to constrain the model space is also a successful strategy for performing Bayesian structure learning of BNs.     

一种快速的贝叶斯网结构学习算法

贝叶斯网是不确定性问题知识表达和推理中最重要的一个理论模型．迄今为止人们提出了许多贝叶斯网结构学习算法，基于约束满足和评分搜索相结合的混合方法是其中的一个研究热点．以I—B＆B—MDL为基础，提出了一种快速的学习算法．新算法不仅利用约束知识来压缩搜索空间，而且还用它作为启发知识来引导搜索．首先利用0阶和少量的1阶测试有效地限制搜索空间，获得网络候选的连接图，减少了独立性测试及对数据库的扫描次数，然后利用互信息作为启发性知识来引导搜索，增加了B＆B搜索树的截断．在通用数据集上的实验表明：快速算法能够有效地处理大规模数据，且学习速度有较大改进．     

基于节点块序列约束的局部贝叶斯网络结构搜索算法

针对K2算法过度依赖节点序和节点序搜索算法评价节点序效率较低的问题, 提出一种基于节点块序列约束的局部贝叶斯网络结构搜索算法, 该算法首先通过评分定向构建定向支撑树结构, 在此基础上构建节点块序列, 然后利用节点块序列确定每个节点的潜在父节点集, 通过搜索每个节点的父节点集构建网络结构, 最后对该结构进行非法结构修正得到最优贝叶斯网络结构.利用标准网络将算法与几种不同类型的改进算法进行对比分析, 验证该算法的有效性.