贝叶斯网络结构学习的简化贪婪算法

基于数据的贝叶斯网络结构学习是一个NP难题.基于条件约束和评分搜索相结合的方法是贝叶斯网络结构学习的一个热点.基于互信息理论提出一种最大支撑树(MWST)机制,并基于最大支撑树结合贪婪搜索的思想提出一种简化贪婪算法.简化贪婪算法不依赖先验知识,完全基于数据集.首先,通过计算互信息建立目标网络的最大支撑树;然后,在最大支撑树的基础上学习初始网络结构,最后,利用简化搜索机制对初始结构进一步优化,最终完成贝叶斯网络的结构学习.数据仿真实验证明,简化贪婪算法不仅具有很高的精度而且具有高效率.     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。     

基于互信息的贝叶斯网络结构学习算法

结构学习是贝叶斯网络的重要分支之一,而由数据学习贝叶斯网络是NP-完全问题,提出了一个由数据学习贝叶斯网络的改进算法。该算法基于互信息知识构造初始无向图,并通过条件独立测试对无向边添加方向;同时提出了一个针对4节点环和5节点环的局部优化方法来构造初始框架,最后利用贪婪搜索算法得到最优网络结构。数值实验结果表明,改进的算法无论是在BIC评分值,还是在结构的误差上都有一定的改善,并且在迭代次数、运行时间上均有明显降低,能较快地确定出与数据匹配程度最高的网络结构。     

互信息与爬山法相结合的贝叶斯网络结构学习

针对爬山法容易陷入局部最优,而随机重复爬山法时间开销过大的问题,将互信息与爬山法相结合,提出了MI&HC贝叶斯网络结构学习算法。首先利用互信息构建初始网络结构,再从该网络结构开始利用爬山法进行贝叶斯网络结构学习。仿真结果表明:MI&HC算法,对小型稀疏网络结构的学习效果非常好,对较大型的网络结构的学习也能得到令人满意的结果;该算法不需要节点顺序这一先验信息,却能获得与K2算法相当的学习效果。     

基于互信息学习贝叶斯网络等价类*

由数据构造贝叶斯网络结构是NP-难问题,根据互信息和条件独立测试,提出了一种构建最优贝叶斯网络结构的新算法。数值实验表明,新算法能较快地确定出与数据匹配程度最高的网络结构,从而能更高效地学习贝叶斯网络结构。     

基于MWST-CS-K2算法的贝叶斯网络结构学习

针对K2算法依赖最大父节点数和节点顺序的不足,提出了一种改进的贝叶斯网络结构学习算法（MWST-CS-K2）。该算法先通过构造最大支撑树（MWST）得到最大父节点数;再利用变量间的关联度和更新系数对加边、减边和反转边进行规则设定,通过改进的布谷鸟算法对鸟巢位置进行寻优,应用广度优先搜索策略搜索遍历得到节点顺序;最后将最大父节点数和节点顺序作为K2算法的输入搜索得到最终网络。实验表明,所提出的MWST-CS-K2算法在标准的ASIA、SACHS和CHILD网络数据测试中的平均正确边比率分别达到了97.3%、87.7%和95.6%,学习效果优于其他对比算法,获得的网络结构和标准的网络结构最为相似。     

贝叶斯网络结构学习分析

贝叶斯网络结构学习(以下简称结构学习)的目标是寻找对先验知识和数据拟合得最好的网络结构。结构学习有两种方式,一种是模型选择,即选择一个最好的网络结构;另一种是选择性的模型平均,即选择合适数量的网络结构,以这些网络结构代表所有的网络结构。我们从限定的结构学习与非限定的结构学习两类     

小数据集的贝叶斯网络结构学习

针对直接基于小数据集贝叶斯网络结构学习不可靠, 以及目前对小数据集的处理只强调扩展而忽略对扩展数据的修正等, 提出了将扩展与修正相结合的小数据集处理机制, 以及在此基础上的基于结点排序和局部打分--搜索的贝叶斯网络结构学习方法. 可不需要完全结点顺序的先验知识, 但能够结合专家的部分结点顺序信息. 实验结果显示了这种方法的有效性和可靠性.     

贝叶斯网络结构加速学习算法

结构学习是应用贝叶斯网络(BN)的基础。提出一种新的基于约束的学习类算法APC(Accelerated PC),它基于一系列局部结构的推导获得BN。APC不但继承了经典的PC(Peter & Clark)算法优先执行低阶条件独立(CI)测试的优点,而且能够从已执行的CI测试中推导相关拓扑信息,并利用其来挑选并优先执行更可能 d-分割 节点X和Y的候选CI测试。该策略可有效避免在搜索过程中执行无效的CI测试,例如APC算法在实验中较PC算法节省高达50%的计算量,同时实现了质量相同的学习效果。     

基于TAN结构的启发式贝叶斯网络结构学习算法

贝叶斯网络结构学习是个NP难题。一种有效且准确性较高的学习算法是K2算法。但K2算法要确定结点次序,在无先验信息时受到很大限制。提出了一种启发式结构学习G算法,该算法以学习树扩展朴素贝叶斯TAN结构作为启发式信息,由该启发式信息生成结点次序,再用K2算法生成贝叶斯网络结构。实验结果表明,G算法可以解决无先验信息时确定结点次序的问题。所添加的弧比较简洁,网络结构比TAN结构更加合理。     

基于贝叶斯网络和互信息的检索用户模型

个性化信息服务越来越成为信息检索领域研究的热点.将贝叶斯网络和互信息相结合,用于个性化检索的用户建模中,建立了一个能同时表达特征词的统计分布和特征词间的语义相关性的用户模型.模型以贝叶斯网络结构为框架,包含了特征词的概率统计信息和特征词间互信息,并引入了时间机制.实验结果表明,用该模型进行信息检索,在查全率和查准率方面都得到了提高.     

基于互信息可信度的贝叶斯网络入侵检测研究

传统贝叶斯入侵检测算法没有考虑不同属性和属性权值对入侵检测结果的影响,因此分类准确率不够高.针对传统贝叶斯入侵检测算法存在的不足,提出基于互信息可信度的贝叶斯网络入侵检测算法.在综合考虑网络入侵检测数据特点和传统贝叶斯分类算法优点的基础上,用互信息相对可信度进行特征选择,删除一些冗余属性,把互信息相对可信度作为权值引进贝叶斯分类算法中,得到优化的贝叶斯网络入侵检测算法(MI-NB).实验结果表明,MI-NB算法能大大降低分类数据的维数,比传统贝叶斯入侵检测算法及改进算法有更高的分类准确率.     

Improved algorithm based on mutual information for learning Bayesian network structures in the space of equivalence classes

As is well known, greedy algorithm is usually used as local optimization method in many heuristic algorithms such as ant colony optimization, taboo search, and genetic algorithms, and it is significant to increase the convergence speed and learning accuracy of greedy search in the space of equivalence classes of Bayesian network structures. An improved algorithm, I-GREEDY-E is presented based on mutual information and conditional independence tests to firstly make a draft about the real network, and then greedily explore the optimal structure in the space of equivalence classes starting from the draft. Numerical experiments show that both the BIC score and structure error have some improvement, and the number of iterations and running time are greatly reduced. Therefore the structure with highest degree of data matching can be relatively faster determined by the improved algorithm.     

基于预测能力的贝叶斯网络分类器学习

分析了贝叶斯分类器家族中有代表性的分类器;给出变量之间预测能力的概念及估计方法,在此基础上建立了基于变量间预测能力的贝叶斯网络分类器结构学习方法,并使用UCI数据进行分类实验.实验结果显示,该方法能够有效地进行贝叶斯网络分类器学习,使得贝叶斯网络分类器倾向于简单化,具有较强的分类能力.     

Bayesian network based business information retrieval model

The quality of business information can significantly affect the operation level of enterprise. This paper analyses the problem of business information retrieval (BIR). A Bayesian Network Based business information retrieval model (BN-BIRM) is proposed by means of Bayesian network (BN) and information retrieval (IR) theory and a method for query adaptation is presented. In this model the customized query requirement of enterprise (CQR) is expressed in terms of the predefined illustrative documents related to business domain. The similarities between the documents and the query are evaluated with the conditional probabilities among the nodes in the BN. In the experiments, BN-BIRM is compared with the Belief Network model based on vector space model (VSM) ranking strategy and the Inference Network model based on TF-IDF ranking strategy. The experimental results show that BN-BIRM is effective for collecting business information on a large scale.

Mining local and tail dependence structures based on pointwise mutual information

The behavior of events that occur infrequently but have a large impact tends to differ from that of the central tendency, and identifying the tail dependence structure among key factors is critical for controlling risks. However, due to technical difficulties, conventional analyses of dependence have focused on the global average dependence. This article proposes a novel approach for analyzing the entire structure of nonlinear dependence between two data sets on the basis of accurate pointwise mutual information estimation. The emphasis is on fat-tailed distributions that tend to appear in events involving sudden large changes. The proposed pointwise mutual information estimator is sufficiently robust and efficient for exploring tail dependence, and its good performance was confirmed in an experimental study. The significance of the identified dependence structure was assessed using the proposed bootstrap procedure. New facts were discovered from its application to daily returns and volume on the New York stock Exchange (NYSE) Composite Index.     

互信息匹配的半朴素贝叶斯分类器

由于作为朴素贝叶斯分类器的主要特征的条件独立性假设条件过强且在不同数据集上表现出的差异,所以独立性假设成为众多改进算法的切入点。但也有研究指出不满足该假设并没有对分类器造成预想的影响。从降低后验概率的估计误差入手提出一种条件熵匹配的半朴素贝叶斯分类器。实验证明,该方法能有效提高朴素贝叶斯分类器的性能。     

基于四层贝叶斯网络的XML文档信息检索模型

提出了一种新的基于贝叶斯网络对XML文档信息进行查询的模型方法.该模型支持针对XML文档信息的结构化查询.基于XML信息查询的特点,利用XML数据集中语词、元素和结构化单元的统计信息对模型的拓扑结构和条件概率进行了学习;结合概率函数的方法,利用模型的概率推理进程对XML文档和结构化查询条件的相关度进行了估算.最后在基于INEX测试集的实验中证明了该方法的有效性和可靠性.