多维贝叶斯网络分类器结构学习算法

传统多维贝叶斯网络分类器(MBNC)限制其模型结构必须是二分的,通过移除该限制可得到更准确的对关联分布建模的通用MBNC(GMBNC)。基于局部马尔可夫毯的迭代搜索,提出可准确学习GMBNC的算法IPC-GMBNC。该算法由于无需学习全局贝叶斯网络(BN),可扩展性强。基于已知贝叶斯网络模型而随机生成的数据上所执行的实验显示,IPC-GMBNC可有效推导出目标结构;而且与传统的全局结构学习算法PC相比,IPC-GMBNC可节省大量的计算量。     

一般贝叶斯网络分类器及其学习算法

贝叶斯网络（BN）应用于分类应用时对目标变量预测有直接贡献的局部模型称作一般贝叶斯网络分类器（GBNC）。推导GBNC的传统途径是先学习完整的BN,而现有推导BN结构的算法限制了应用规模。为了避免学习全局BN,提出仅执行局部搜索的结构学习算法IPC-GBNC,它以目标变量节点为中心执行广度优先搜索,且将搜索深度控制在不超过2层。理论上可证明算法IPC-GBNC是正确的,而基于仿真和真实数据的实验进一步验证了其学习效果和效率的优势：（1）可输出和执行全局搜索的PC算法相同甚至更高质量的结构;（2）较全局搜索消耗少得多的计算量;（3）同时实现了降维（类似决策树学习算法）。相比于绝大多数经典分类器,GBNC的分类性能相当,但兼具直观、紧凑表达和强大推理的能力（且支持不完整观测值）。     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

基于双尺度约束模型的BN结构自适应学习算法

在无先验信息的情况下, 贝叶斯网络(Bayesian network, BN)结构搜索空间的规模随节点数目增加呈指数级增长, 造成BN结构学习难度急剧增加. 针对该问题, 提出基于双尺度约束模型的BN结构自适应学习算法. 该算法利用最大互信息和条件独立性测试构建大尺度约束模型, 完成BN结构搜索空间的初始化. 在此基础上设计改进遗传算法, 在结构迭代优化过程中引入小尺度约束模型, 实现结构搜索空间小尺度动态缩放. 同时, 在改进遗传算法中构建变异概率自适应调节函数, 以降低结构学习过程陷入局部最优解的概率. 仿真结果表明, 提出的基于双尺度约束模型的BN结构自适应学习算法能够在无先验信息的情况下保证BN结构学习的精度和迭代寻优的收敛速度.     

基于BIC测度和混合遗传算法的BNC结构学习

贝叶斯网络分类器(BNC)结构学习是一个NP难题。贪婪搜索(GS)算法是一种有效且准确性较高的结构学习算法,但贪婪搜索算法很容易陷入局部最优。标准遗传算法是一种全局搜索优化算法,它通过模拟生物种群的进化过程,得到全局最优解。但就其个体而言,个体局部解的质量无法保证,不具备局部寻优的能力。提出了将两种算法相结合,以贝叶斯信息标准(BIC)测度为评价函数,得到一种混合遗传算法,实现了它们的优势互补。实验表明:该算法优于单独利用GS算法进行Bayesian网络结构学习,从而说明该算法的正确性和有效性。     

基于粒子群优化建模的贝叶斯网络结构学习方法

贝叶斯网络(BN)在不确定性的条件下表示信息和推理论证具有良好的性能,但由于其结构搜索空间的复杂性,通常将从一个数据集合中学习贝叶斯网络的结构认为是一种NP-hard的问题。基于此,提出一种新的基于粒子群优化算法建模的贝叶斯网络结构学习方法。为了学习一个贝叶斯网络的结构,该方法先使用粒子群优化算法在排序空间中进行搜索,然后运行K2算法计算每个排序的吻合度。每个排序都会有一个网络结构与之一致,该方法会返回这个网络的计分。仿真结果表明,在不同规模的数据集中,该算法相对于其他贝叶斯网络结构学习算法对不同类型的网络都具有更好的网络稳定性。     

基于最大主子图分解的贝叶斯网络等价类学习算法

针对基于约束方法学习贝叶斯网络(BN)结构的不足,以及随着条件集的增大,利用统计方法进行条件独立(CI)测试不稳定等问题,提出一种基于最大主子图分解(MPD)的BN等价类学习算法.该算法首先通过MPD分解技术对BN的道德图进行分解;然后利用0阶和1阶CI测试识别部分子图中的V结构,对于初步未定的V结构利用局部评分搜索确定,从而避免了冗余检验,有效地减小了条件集的维数,并且提高了算法的效率.理论证明和实验结果均表明了所提出算法的有效性和合理性.     

基于量子遗传算法的贝叶斯网络结构学习

将量子遗传算法用于贝叶斯网络(BN)的结构学习,对BN结构进行量子编码得到染色体,通过量子变异操作使其作为一个完备的独立解空间进行演化,可快速搜索到全局最优的网络结构。实验结果表明,量子遗传算法用于BN结构学习,可取得很好的效果。     

基于GATS贝叶斯网络结构学习的航班延误模型

对遗传算法（GA）贝叶斯网络（BN）结构学习和禁忌搜索算法（TS）进行分析,提出遗传禁忌搜索贝叶斯网络结构学习算法GATS_BNSL。把禁忌搜索思想引入到遗传算法BN结构学习由父代种群产生后代种群的演化过程中,以禁忌搜索交叉和禁忌搜索变异改进传统的遗传算子,对比实验分析表明了GATS_BNSL的学习优势。应用此方法,基于真实数据,建立了大型枢纽机场航班离港延误模型。该模型切实反映了导致航班延误的多因素之间的因果关系,而且建模时间少,学习正确率高。     

基于BIC测度和混合遗传算法的BNC结构学习

贝叶斯网络分类器（BNC）结构学习是一个NP难题。贪婪搜索（GS）算法是一种有效且准确性较高的结构学习算法，但贪婪搜索算法很容易陷人局部最优。标准遗传算法是一种全局搜索优化算法，它通过模拟生物种群的进化过程，得到全局最优解。但就其个体而言，个体局部解的质量无法保证，不具备局部寻优的能力。提出了将两种算法相结合，以贝叶斯信息标准（BIC）测度为评价函数，得到一种混合遗传算法，实现了它们的优势互补。实验表明：该算法优于单独利用GS算法进行Bayesian网络结构学习，从而说明该算法的正确性和有效性。     

基于结点排序的贝叶斯网络结构学习

给出了变量之间k阶分类能力的概念及计算方法,并证明了k阶分类能力就是k阶分类正确率,以及k阶分类能力和条件独立性的等价性,在此基础上构造出基于分类能力的贝叶斯网络结构打分函数,同时结合依赖分析方法和打分-搜索方法建立了有效的贝叶斯网络结构学习方法,实验结果显示该方法能够有效地进行贝叶斯网络结构学习,并使学习得到的结构倾向于简单化。     

A hybrid algorithm for Bayesian network structure learning with application to multi-label learning

We present a novel hybrid algorithm for Bayesian network structure learning, called H2PC. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. The algorithm is based on divide-and-conquer constraint-based subroutines to learn the local structure around a target variable. We conduct two series of experimental comparisons of H2PC against Max–Min Hill-Climbing (MMHC), which is currently the most powerful state-of-the-art algorithm for Bayesian network structure learning. First, we use eight well-known Bayesian network benchmarks with various data sizes to assess the quality of the learned structure returned by the algorithms. Our extensive experiments show that H2PC outperforms MMHC in terms of goodness of fit to new data and quality of the network structure with respect to the true dependence structure of the data. Second, we investigate H2PC’s ability to solve the multi-label learning problem. We provide theoretical results to characterize and identify graphically the so-called minimal label powersets that appear as irreducible factors in the joint distribution under the faithfulness condition. The multi-label learning problem is then decomposed into a series of multi-class classification problems, where each multi-class variable encodes a label powerset. H2PC is shown to compare favorably to MMHC in terms of global classification accuracy over ten multi-label data sets covering different application domains. Overall, our experiments support the conclusions that local structural learning with H2PC in the form of local neighborhood induction is a theoretically well-motivated and empirically effective learning framework that is well suited to multi-label learning. The source code (in R) of H2PC as well as all data sets used for the empirical tests are publicly available.     

Restricted Bayesian classification networks

Bayesian networks are graphical models that describe dependency relationships between variables, and are powerful tools for studying probability classifiers. At present, the causal Bayesian network learning method is used in constructing Bayesian network classifiers while the contribution of attribute to class is over-looked. In this paper, a Bayesian network specifically for classification-restricted Bayesian classification networks is proposed. Combining dependency analysis between variables, classification accuracy evaluation criteria and a search algorithm, a learning method for restricted Bayesian classification networks is presented. Experiments and analysis are done using data sets from UCI machine learning repository. The results show that the restricted Bayesian classification network is more accurate than other well-known classifiers.     

一种基于贝叶斯网络的匹配引擎设计

匹配引擎不是简单的搜索，而是全新的深层次信息挖掘。该文构建一种基于贝叶斯网络模型的匹配引擎。项目需求中有4种类型的节点集合，通过建模，设计一个4层贝叶斯网络，主要用来对输入样本进行打分筛选。在该模型中，层与层之间都有表示具体意义的条件概率将其联系起来，在一定程度上解决了检索结果歧义和检索结果少的问题。实验证实了该模型可以更准确地搜索信息。     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.     

由Markov网到Bayesian网

Markov网（马尔可夫网）是类似于Bayesian网（贝叶斯网）的另一种进行不确定性揄的有力工具，Markov网是一个无向图，而Bayesian网是一个有向无环图，发现Markov网不需要发现边的方向，因此要比发现Bayesian网容易得多，提出了一种通过发现Markov网得到等价的Bayesian网的方法，首先利用信息论中验证信息独立的一个重要结论，提出了一个基于依赖分析的边删除算法发现Markov网，该算法需O（n^2)次CI（条件独立）测试，CI测试的时间复杂度取决于由样本数据得到的联合概率函数表的大小，经证明，假如由样本数据得到的联合概率函数严格为正，则该算法发现的Markov网一定是样本的最小L图，由发现Markov网，根据表示的联合概率函数相等，得到与其等价的Bayesian网。     

基于专家知识融合的贝叶斯网络结构学习方法

基于数据学习的贝叶斯网络结构学习算法因搜索空间大而效率低。领域专家可根据自己的经验知识确定网络结构中固有的因果关系。通过收集不同专家的意见,并利用证据理论进行综合,确定其中的部分因果关系,去除其中无意义的因果关系,然后利用常用的学习算法进行学习,减小搜索空间,提高算法效率。实验结果表明基于专家知识融合的贝叶斯网络构造方法利用专家知识来限制学习算法的搜索条件,有效地缩小了搜索空间,利用证据理论综合多个专家知识,防止了单个专家的主观片面性,能够有效地提高学习效率。     

基于贝叶斯网络的内部威胁预测研究

在内部网络带给企业办公便利的同时, 内部网络所带来的威胁也日渐突出, 由于企业中内部威胁具有危害性大、难以检测等特点, 内部威胁亟需解决。因此, 提出了基于贝叶斯网络攻击图的内部威胁预测模型。以内部用户实际操作过程中的行为为研究对象, 以内部用户攻击过程中所占有的资源状态和所进行的操作序列攻击证据为节点, 构建贝叶斯网络攻击图; 以网络攻击图来描述攻击者在攻击过程中的不同攻击路径和攻击状态, 并且利用贝叶斯网络推理算法计算内部威胁的危险概率。在贝叶斯网络攻击图中定义了元操作、原子攻击、攻击证据等概念, 量化了节点变量、节点变量取值和条件概率分布。以改进的似然加权算法为基础, 使贝叶斯网络的参数计算更加简便, 内部威胁的预测更加精确。最后, 通过仿真实验证明了该方法建模速度快、计算过程简单、计算结果精确, 在预测内部威胁时的有效性和适用性。