并行的贝叶斯网络参数学习算法

针对大样本条件下EM算法学习贝叶斯网络参数的计算问题,提出一种并行EM算法(Parallel EM,PL-EM)提高大样本条件下复杂贝叶斯网络参数学习的速度.PL-EM算法在E步并行计算隐变量的后验概率和期望充分统计因子;在M步,利用贝叶斯网络的条件独立性和完整数据集下的似然函数可分解性,并行计算各个局部似然函数.实验结果表明PL-EM为解决大样本条件下贝叶斯网络参数学习提供了一种有效的方法.     

贝叶斯学习,贝叶斯网络与数据采掘

自从50～60年代贝叶斯学派形成后,关于贝叶斯分析的研究久盛不衰。早在80年代,贝叶斯网络就成功地应用于专家系统,成为表示不确定性专家知识和推理的一种流行方法。90年代以来,贝叶斯学习一直是机器学习研究的重要方向。由于概率统计与数据采掘的     

基于人工鱼群算法的贝叶斯网络参数学习方法

研究算法改进,提高计算性能,贝叶斯网络是解决不确定性问题的一种有效方法,在很多领域得到了广泛应用。参数学习是贝叶斯网络构建的重要环节,但含隐变量、连续变量的参数学习是非常困难的。为解决上述问题,提出了一种人工鱼群算法的贝叶斯网络参数学习方法,并进一步通过调整人工鱼随机移动速度的方法提高了算法的收敛性能和速度。最后,将参数学习方法在由Noisy-Or和Noisy-And节点组成的贝叶斯网络中进行了仿真,仿真结果表明了参数学习方法,特别是改进后方法的可行性和优越性。     

面向大规模数据集的贝叶斯网络参数学习算法

贝叶斯网络的学习可以分为结构学习和参数学习。期望最大化（EM）算法通常用于不完整数据的参数学习,但是由于EM算法计算相对复杂,存在收敛速度慢和容易局部最大化等问题,传统的EM算法难于处理大规模数据集。研究了EM算法的主要问题,采用划分数据块的方法将大规模数据集划分为小的样本集来处理,降低了EM算法的计算量,同时也提高了计算精度。实验证明,该改进的EM算法具有较高的性能。     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

数据缺失下学习贝叶斯网络的E-GSA算法

针对数据缺失条件下构建贝叶斯网络难度大的问题,研究了贝叶斯结构学习算法,提出了将条件独立性检验和评分-搜索相结合的算法.采用改进的混合算法对训练数据初始化,建立相应的初始网络,对已经拟合了训练数据信息的初始网络用遗传模拟退火算法进行训练以找到最佳的网络结构.给出了算法实施的具体步骤且通过实验验证了算法性能,并将实验结果与其他典型的算法进行比较,表明了算法具有更优的学习效果.     

一种基于混合遗传的贝叶斯网络分解算法

针对最优贝叶斯网络分解是一个NP-完全问题,提出了一种基于混合遗传贝叶斯网络分解算法PHGA.PHGA算法将进化过程划分为三个不同的阶段,在前期和中期阶段采用较大的种群规模和交叉率,以及较小的群体选择压力,来增强PHGA算法的全局探索能力,避免早熟现象;在后期采用较小的种群规模和交叉率,以及较大的群体选择压力,并引入爬山局部优化算子,以增强群体在进化后期中的局部寻优能力,提高算法的收敛速度.三个标准的贝叶斯网络上的实验表明该算法在最优解方面要优于遗传算法和模拟退火算法.     

一种贝叶斯网络分类器集群式参数学习的降噪算法

文中首先分析降噪集成算法采用的样本置信度度量函数的性质,阐述此函数不适合处理多类问题的根源。进而设计更有针对性的置信度度量函数,并基于此函数提出一种增强型降噪参数集成算法。从而使鉴别式贝叶斯网络参数学习算法不但有效地抑止噪声影响,而且避免分类器的过度拟合,进一步拓展采用集群式学习算法的鉴别式贝叶斯网络分类器在多类问题上的应用。最后,实验结果及其统计假设检验分析充分验证此算法比目前的集群式贝叶斯网络参数学习方法得到的分类器在性能上有较显著提高。     

多维贝叶斯网络分类器结构学习算法

传统多维贝叶斯网络分类器(MBNC)限制其模型结构必须是二分的,通过移除该限制可得到更准确的对关联分布建模的通用MBNC(GMBNC)。基于局部马尔可夫毯的迭代搜索,提出可准确学习GMBNC的算法IPC-GMBNC。该算法由于无需学习全局贝叶斯网络(BN),可扩展性强。基于已知贝叶斯网络模型而随机生成的数据上所执行的实验显示,IPC-GMBNC可有效推导出目标结构;而且与传统的全局结构学习算法PC相比,IPC-GMBNC可节省大量的计算量。     

贝叶斯网络精确推理算法的研究

贝叶斯网络是以概率理论为基础的不确定知识表示模型,贝叶斯网络推理的目的是得到随机变量的概率分布。目前,最流行的推理算法是联合树算法,它的主要思想是将贝叶斯网络转化为一棵无向树,在无向树上完成消息传递过程,求出原贝叶斯网络中任意随机变量的概率分布。为了降低算法的计算时空复杂度,对算法进行了不断的改进,为贝叶斯网络推理算法的进一步研究提供了条件。     

On Discriminative Bayesian Network Classifiers and Logistic Regression

Discriminative learning of the parameters in the naive Bayes model is known to be equivalent to a logistic regression problem. Here we show that the same fact holds for much more general Bayesian network models, as long as the corresponding network structure satisfies a certain graph-theoretic property. The property holds for naive Bayes but also for more complex structures such as tree-augmented naive Bayes (TAN) as well as for mixed diagnostic-discriminative structures. Our results imply that for networks satisfying our property, the conditional likelihood cannot have local maxima so that the global maximum can be found by simple local optimization methods. We also show that if this property does not hold, then in general the conditional likelihood can have local, non-global maxima. We illustrate our theoretical results by empirical experiments with local optimization in a conditional naive Bayes model. Furthermore, we provide a heuristic strategy for pruning the number of parameters and relevant features in such models. For many data sets, we obtain good results with heavily pruned submodels containing many fewer parameters than the original naive Bayes model.Editors: Pedro Larrañaga, Jose A. Lozano, Jose M. Peña and Iñaki Inza     

基于判别模型的垃圾邮件过滤方法

垃圾邮件泛滥已成为网络时代的一个重要问题,随着垃圾邮件的伪装技术的不断更新,以前主要的几种垃圾邮过滤技术面临着新的挑战。文中提出一种新的基于判别模型的垃圾邮件过滤方法,邮件分类器通过不断的学习来更新特征项的权重,当新的信息到达时,计算所有特征项的权重之和,并将其转化为一个概率值,如果此概率值超过某一阈值时,就认定此信息为垃圾邮件;同时将此方法应用到实时邮件处理环境中。实验结果表明,此方法能明显地提高准确度,有效地降低误判率。     

Bayesian Networks for Data Mining

A Bayesian network is a graphical model that encodesprobabilistic relationships among variables of interest. When used inconjunction with statistical techniques, the graphical model hasseveral advantages for data modeling. One, because the model encodesdependencies among all variables, it readily handles situations wheresome data entries are missing. Two, a Bayesian network can be used tolearn causal relationships, and hence can be used to gain understanding about a problem domain and to predict the consequencesof intervention. Three, because the model has both a causal andprobabilistic semantics, it is an ideal representation for combiningprior knowledge (which often comes in causal form) and data. Four,Bayesian statistical methods in conjunction with Bayesian networksoffer an efficient and principled approach for avoiding theoverfitting of data. In this paper, we discuss methods for constructing Bayesian networks from prior knowledge and summarizeBayesian statistical methods for using data to improve these models.With regard to the latter task, we describe methods for learning boththe parameters and structure of a Bayesian network, includingtechniques for learning with incomplete data. In addition, we relateBayesian-network methods for learning to techniques for supervised andunsupervised learning. We illustrate the graphical-modeling approachusing a real-world case study.     

贝叶斯网络分类器近似学习算法

贝叶斯网络在很多领域应用广泛,作为分类器更是一种有效的常用分类方法,它有着很高复杂度,这使得贝叶斯网络分类器在应用中受到诸多限制。通过对贝叶斯网络分类器算法的近似处理,可以有效减少计算量,并且得到令人满意的分类准确率。通过分析一种将判别式算法变为产生式算法的近似方法,介绍了这种算法的近似过程,并将其应用在了贝叶斯网分类算法中。接着对该算法进行分析,利用该算法的稳定性特点,提出Bagging-aCLL 集成分类算法,它进一步提高了该近似算法的分类精度。最后通过实验确定了该算法在分类准确率上确有不错的表现。     

Parameter Learning in Object-Oriented Bayesian Networks

This paper describes a method for parameter learning in Object-Oriented Bayesian Networks (OOBNs). We propose a methodology for learning parameters in OOBNs, and prove that maintaining the object orientation imposed by the prior model will increase the learning speed in object-oriented domains. We also propose a method to efficiently estimate the probability parameters in domains that are not strictly object oriented. Finally, we attack type uncertainty, a special case of model uncertainty typical to object-oriented domains.     

具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

贝叶斯分类器的判别式参数学习

为了提高贝叶斯分类器的分类性能,针对贝叶斯网络分类器的构成特征,提出一种基于参数集成的贝叶斯分类器判别式参数学习算法PEBNC。该算法将贝叶斯分类器的参数学习视为回归问题,将加法回归模型应用于贝叶斯网络分类器的参数学习,实现贝叶斯分类器的判别式参数学习。实验结果表明,在大多数实验数据上,PEBNC能够明显提高贝叶斯分类器的分类准确率。此外,与一般的贝叶斯集成分类器相比,PEBNC不必存储成员分类器的参数,空间复杂度大大降低。     

The Sample Complexity of Learning Fixed-Structure Bayesian Networks

We consider the problem of PAC learning probabilistic networks in the case where the structure of the net is specified beforehand. We allow the conditional probabilities to be represented in any manner (as tables or specialized functions) and obtain sample complexity bounds for learning nets with and without hidden nodes.     

基于K-means的朴素贝叶斯分类算法的研究

将K-means算法引入到朴素贝叶斯分类研究中,提出一种基于K-means的朴素贝叶斯分类算法。首先用K-means算法对原始数据集中的完整数据子集进行聚类,计算缺失数据子集中的每条记录与k个簇重心之间的相似度,把记录赋给距离最近的一个簇,并用该簇相应的属性均值来填充记录的缺失值,然后用朴素贝叶斯分类算法对处理后的数据集进行分类。实验结果表明,与朴素贝叶斯相比,基于K-means思想的朴素贝叶斯算法具有较高的分类准确率。