用遗传算法实现信度网结构学习：一种新的编码方案

近年来，信度网已经成为表达一组随机变量问的概率关系的常见方法。在大的变量域中信度网的结构生成是信度网应用的难点。为了解决信度网的结构学习问题，一些研究者研完如何从数据集自动学习结构。本文研究采用遗传算法进行信度网结构学习时存在的问题和编码方法，并给出了一种新的信度网编码方案。数值试验显示遗传算法能够给出理想的结果。     

因果图向信度网转化的方法研究

在因果图理论中，采用了图形化和直接因果强度来表达知识和因果关系，它克服了贝叶斯网的一些不足，已经发展成了一个能够处理离散变量和连续变量的混合模型。但已有的因果图的推理算法还不能完全适应实际问题的需要，这大大地限制了因果图推广和使用，然而信度网研究已比较成熟，已有许多现成的算法和实用的推理软件。文中给出了从因果图向信度网转化的一般方法，包括因果图的连接强度向信度网的条件概率表转化和因果图的结构向信度网的结构转化，从而可以利用信度网的这些成果。     

GIBBS仿真方法运用在大型因果图的推理过程

在信度网基础上发展起来的因果图模型,克服了信度网的一些不足,目前已发展成一个能够处理离散变量和连续变量的混合模型,特别适于运用在大型的工业故障诊断领域。但因果图在推理计算中,面临着与信度网的推理算法复杂度过高的同样问题。通过比较几种MarkovChainMonteCarlo(MCMC)方法,论文基于Gibbs仿真算法的思想,并对进入稳态条件、采样顺序判定准则、采样结束判据等进行深入分析,进而提出了一种改进的仿真推理新方法。利用该采样仿真算法能极大地提高故障诊断的速度和准确度,这对因果图模型在工业在线故障诊断领域中的应用具有重要意义。     

信度网推理——方法及问题（下）

3.2 团树传播方法信度网推理的第二类算法为基于团树传播的方法。该方法采用了另一种图形表达方式来表达联合概率分布,即采用了另一种对联合概率分布进行参数化的方法。该方法所对应的图形结构是一棵无向树——团树。该树必须满足如下特征: 每一个节点为一个团,每一个团里面将包含一定量的随机变量;     

信度网结构在线学习算法

提出一种新的信度网结构在线学习算法.其核心思想是,利用新样本对信度网结构和参数不断进行增量式修改,以逐步逼近真实模型.本算法分为两个步骤:首先分别利用参数增量修改律和添加边、删除边、边反向3种结构增量修改律,并结合新采集的样本,对当前信度网模型进行增量式修改;然后利用结果选择判定准则,从增量式修改所得的后代信度网集合中选择一个合适的信度网作为本次迭代结果.该结果在与当前样本的一致性和与上一代模型的距离之间达到一个合理的折衷.实验结果表明,本算法能有效地实现信度网结构的在线学习.由于在线学习不需要历史样本,     

Bayesian网中的独立关系

1 引言在不确定性下进行推理和做出决策的能力是智能行为的基础。在过去几十年中,大量研究人员尝试了多种方法研究不确定性知识的表示和运用,其中有证据理论模型、确定性因子、PROSPECTER模型、模糊集理论以及近年来逐渐成为主流的Bayesian网等。Bayesian网是图形表示方式和概率知识的有机结合.它揭示领域对象的内在结构,是复杂联合概率分布的紧凑表示方式。其坚实的理论基础、知识结构的自然表述方式、灵活的推理能力、方便的决策机制及有效的学习能力使其应用范围越来越广泛。首先说明文中不同变量的含义。如果没有特殊说明,文中大写字母X,Y,Z表示随机变量;小写字母x,y,z表示随机变量的取值;val(X)表示随机变量X的取值范围;黑体X,Y,Z表示随机变量的集合。 Bayesian网是一个有向非循环图,图中节点与知识领域的随机变量一一对应(文中不区分节点与变     

因果图推理的一种新方法

1 引言基于概率论推理的不确定性知识表达推理方法包括信度网、马尔可夫网以及PROSPECTOR中使用的方法等。其中,信度网推理模型因其理论上的严格性和一致性,以及有效的局部计算机制和直观的图形化知识表达,正日益受到高度的重视。然而,信度网也存在一些不足:如处理多连通问题和因果循环问题的方法复杂,计算量大;采用条件概率表达因果关系强度不直观,数据之间存在相依性;较难根据实时收到的信息对知识库中的数据和因果结构进行在线修改;没有考虑条件概率随时间动态变化等问题。 1994年张勤教授提出了另一种基于概率论的知识表达推理方法—“基于动态因果树/图的概率推理”。该方法通过引入布尔逻辑运算,克服了上述信度网之不足,具有如下一些显著的特点:完全基于概率论,有良好的理论基础;对网络的拓扑结构没有限制(不要求通常使用的DAG图),可根据实际情况任意构造自己     

可能性传播图模型的专家知识获取方法

1.引言人工智能的核心问题之一是如何表达己有知识以及如何应用已有知识进行分析处理或推理,以得到新的知识。其中,尤以不确定性知识表达和推理最为重要,也十分困难。但由于它很有现实意义,目前是国际上研究的热点。不确定的知识表达可分为两大类:一类是基于概率的方法,包括信度网、马尔可夫网以及PROSPECTOR中使用的方法等。一类是非概率的方法,包括MYCIN的信度因子、模糊逻辑以及Dempster-Shafer的证据理论等。非概率的方法虽然在各自的应用领域都取得了一定成果,但在运用过程中人们越来越意识到这类方法的不足。目前,以信度网为代表的概率方法己成为不确定性知识表达的主流方法。信度网又名贝叶斯网络,是一个有向无环的图形结构。它具有理论上的严格性和一致性,以及有效的局部计算机制和直观的图形化知识表达。然而,信度网络也存在许多不足:如处理多连通问题和因果循环问题的     

信度网推理——方法及问题（上）

信度网（Belief Network)[6,7,11]又名贝叶斯网络（Bayesian network),是目前非精确知识表达与推理领域最有效的理论模型,已成为近十几年来研究的热点。该网络采用图形化的方式表达了一个联合概率分布。一个由N个节点{X1,...,Xn}构成的信度网B＜G,P＞,由两部分构成。     

因果图用于复杂系统故障诊断研究

在信度网基础上发展起来的因果图模型,克服了信度网的一些不足,具有重要的工业应用价值。经过文献犤5犦犤6犦犤7犦的研究,目前因果图已发展成一个能够处理离散变量和连续变量的混合因果图模型。文章讨论了将因果图用于复杂系统故障诊断的关键问题。给出了基于因果图的故障知识表达方法,给出了故障模式的静态求取方法和动态求取方法以及故障模式的概率计算方法。以核电站二回路系统为研究对象,在自行研制的因果图智能故障诊断平台上进行了故障诊断测试,诊断结果与实际情况相符,诊断迅速、效果较好。     

Efficient Markov Network Structure Discovery Using Independence Tests

We present two algorithms for learning the structure of a Markov network from data: GSMN* and GSIMN. Both algorithms use statistical independence tests to infer the structure by successively constraining the set of structures consistent with the results of these tests. Until very recently, algorithms for structure learning were based on maximum likelihood estimation, which has been proved to be NP-hard for Markov networks due to the difficulty of estimating the parameters of the network, needed for the computation of the data likelihood. The independence-based approach does not require the computation of the likelihood, and thus both GSMN* and GSIMN can compute the structure efficiently (as shown in our experiments). GSMN* is an adaptation of the Grow-Shrink algorithm of Margaritis and Thrun for learning the structure of Bayesian networks. GSIMN extends GSMN* by additionally exploiting Pearl's well-known properties of the conditional independence relation to infer novel independences from known ones, thus avoiding the performance of statistical tests to estimate them. To accomplish this efficiently GSIMN uses the Triangle theorem, also introduced in this work, which is a simplified version of the set of Markov axioms. Experimental comparisons on artificial and real-world data sets show GSIMN can yield significant savings with respect to GSMN*, while generating a Markov network with comparable or in some cases improved quality. We also compare GSIMN to a forward-chaining implementation, called GSIMN-FCH, that produces all possible conditional independences resulting from repeatedly applying Pearl's theorems on the known conditional independence tests. The results of this comparison show that GSIMN, by the sole use of the Triangle theorem, is nearly optimal in terms of the set of independences tests that it infers.     

LEARNING STRUCTURED BAYESIAN NETWORKS: COMBINING ABSTRACTION HIERARCHIES AND TREE-STRUCTURED CONDITIONAL PROBABILITY TABLES

Context-specific independence representations, such as tree-structured conditional probability distributions, capture local independence relationships among the random variables in a Bayesian network (BN). Local independence relationships among the random variables can also be captured by using attribute-value hierarchies to find an appropriate abstraction level for the values used to describe the conditional probability distributions. Capturing this local structure is important because it reduces the number of parameters required to represent the distribution. This can lead to more robust parameter estimation and structure selection, more efficient inference algorithms, and more interpretable models. In this paper, we introduce Tree-Abstraction-Based Search (TABS), an approach for learning a data distribution by inducing the graph structure and parameters of a BN from training data. TABS combines tree structure and attribute-value hierarchies to compactly represent conditional probability tables. To construct the attribute-value hierarchies, we investigate two data-driven techniques: a global clustering method, which uses all of the training data to build the attribute-value hierarchies, and can be performed as a preprocessing step; and a local clustering method, which uses only the local network structure to learn attribute-value hierarchies. We present empirical results for three real-world domains, finding that (1) combining tree structure and attribute-value hierarchies improves the accuracy of generalization, while providing a significant reduction in the number of parameters in the learned networks, and (2) data-derived hierarchies perform as well or better than expert-provided hierarchies.     

基于贝叶斯网络的海量数据多维分类学习方法研究

摘 要: 多维分类根据数据实例的特征向量将数据实例在多个维度上进行分类,具有广泛的应用前景。在多维分类算法的模型学习过程中,海量的训练数据使得准确的分类算法需要很长的模型训练时间。为了提高多维分类的执行效率,同时保持高的预测准确性,本文提出了一种基于贝叶斯网络的多维分类学习方法。首先,将多维分类问题描述为条件概率分布问题。其次,根据类别向量之间的依赖关系建立了条件树贝叶斯网络模型。最后,根据训练数据集对条件树贝叶斯网络模型的结构和参数进行学习,并提出了一种多维分类预测算法。大量的真实数据集实验表明,本文提出的方法与当前最好的多维分类算法MMOC相比,在保持高准确性的同时将模型的训练时间降低了两个数量级。因此,本文提出的方法更适用于海量数据的多维分类应用中。     

置信传播和模拟退火相结合求解约束满足问题

约束满足问题是人工智能领域的一个重要问题。针对一个具有精确相变现象和能产生大量难解实例的随机约束满足问题,提出了置信传播和模拟退火相结合的求解算法。这种算法先通过置信传播方程收敛后得到变量取值的边际概率分布,分别采用最大概率和最小分量熵的策略产生一组启发式的初始赋值,再用模拟退火对这组赋值进行修正。实验结果表明：该算法大大提高了初始赋值向最优解收敛的速度,表现出了显著优越于模拟退火算法的求解性能。     

一种基于Spark的不确定数据集频繁模式挖掘算法

如何在海量不确定数据集中提高频繁模式挖掘性能是目前研究的热点.传统算法大多是以期望、概率或者权重等单一指标为数据项集支持度，在大数据背景下，同时考虑概率和权重支持度的算法难以兼顾其执行效率.为此，本文提出一种基于Spark的不确定数据集频繁模式挖掘算法（UWEFP），首先，为了同时兼顾数据项的概率和权重，计算一项集的最大概率权重值并进行剪枝；然后，为了减少对数据集的多次扫描，结合Spark框架的优点，设计了一种具有FP-tree特征的新颖的UWEFP-tree结构进行模式树的构建及挖掘；最后在Spark环境下，以UCI数据集进行实验验证.实验结果表明本文的方法在保证挖掘结果的同时，提高了效率.     

基于密度核估计的贝叶斯网络结构学习算法

贝叶斯网络结构学习算法主要包括爬山法和K2算法等,但这些方法均要求面向大样本数据集。针对实际问题中样本集规模小的特点,通过引入概率密度核估计方法以实现对原始样本集的拓展,利用K2算法进行贝叶斯网络结构学习。通过优化选择核函数和窗宽,基于密度核估计方法实现了样本集的有效扩展;同时基于互信息度进行变量顺序的确认,进而建立了小规模样本集的贝叶斯结构学习算法。仿真结果验证了新学习算法的有效性和实用性。     

Controlled generation of hard and easy Bayesian networks: Impact on maximal clique size in tree clustering

This article presents and analyzes algorithms that systematically generate random Bayesian networks of varying difficulty levels, with respect to inference using tree clustering. The results are relevant to research on efficient Bayesian network inference, such as computing a most probable explanation or belief updating, since they allow controlled experimentation to determine the impact of improvements to inference algorithms. The results are also relevant to research on machine learning of Bayesian networks, since they support controlled generation of a large number of data sets at a given difficulty level. Our generation algorithms, called BPART and MPART, support controlled but random construction of bipartite and multipartite Bayesian networks. The Bayesian network parameters that we vary are the total number of nodes, degree of connectivity, the ratio of the number of non-root nodes to the number of root nodes, regularity of the underlying graph, and characteristics of the conditional probability tables. The main dependent parameter is the size of the maximal clique as generated by tree clustering. This article presents extensive empirical analysis using the Hugin tree clustering approach as well as theoretical analysis related to the random generation of Bayesian networks using BPART and MPART.     

丢失数据下的条件极大似然辨识

针对仿射结构形式在丢失数据下的条件极大似然辨识问题, 首先引入交换矩阵将原随机矢量分解成观测和丢失部分; 然后确定出观测数据在丢失数据下的条件均值和条件方差, 以此建立条件似然函数; 进而从理论上给出了条件极大似然函数关于未知参数矢量、未知白噪声方差值和丢失数据的求导公式, 并从工程上给出一种可分离的优化算法; 最后通过仿真算例验证了该辨识方法的有效性.     

基于条件对数似然函数导数的贝叶斯网络分类器优化算法

通常基于鉴别式学习策略训练的贝叶斯网络分类器有较高的精度,但在具有冗余边的网络结构之上鉴别式参数学习算法的性能受到一定的限制.为了在实际应用中进一步提高贝叶斯网络分类器的分类精度,该文定量描述了网络结构与真实数据变量分布之间的关系,提出了一种不存在冗余边的森林型贝叶斯网络分类器及其相应的FAN学习算法(Forest-Augmented Naive Bayes Algorithm),FAN算法能够利用对数条件似然函数的偏导数来优化网络结构学习.实验结果表明常用的限制性贝叶斯网络分类器通常存在一些冗余边,其往往会降低鉴别式参数学习算法的性能;森林型贝叶斯网络分类器减少了结构中的冗余边,更加适合于采用鉴别式学习策略训练参数;应用条件对数似然函数偏导数的FAN算法在大多数实验数据集合上提高了分类精度.