一种数据缺失下贝叶斯网络增量学习的有效方法

提出一种在数据缺失下增量学习贝叶斯网络的有效算法IBN—M。IBN—M用结构化的EM算法来补全数据集中缺失的数据,并且能在并行和启发式搜索策略提供的较大的搜索空间里搜索,有效地避免了采用结构化EM算法而导致的局部极值。同时采用增量学习的方法,解决了大规模数据学习存在的内存空间不足的问题。实验结果表明IBN-M算法在数据缺失下贝叶斯网络的增量学习中确实能够学出相对精确的网络模型。     

贝叶斯学习,贝叶斯网络与数据采掘

自从50～60年代贝叶斯学派形成后,关于贝叶斯分析的研究久盛不衰。早在80年代,贝叶斯网络就成功地应用于专家系统,成为表示不确定性专家知识和推理的一种流行方法。90年代以来,贝叶斯学习一直是机器学习研究的重要方向。由于概率统计与数据采掘的     

数据缺失条件下的贝叶斯推断方法

Recently Bayesian network(BN) becomus a noticeable research direction in Data Mining.In this paper we introduce missing data mechanisms firstly,and then some methods to do Baysesian inference with missing data based on these missing data mechanisms.All of these must be useful in practice especially when data is scare and expensive.It can foresee that Bayesian networks will become a powerful tool in Data Mining with all of these methods above offered.     

数据缺失下学习贝叶斯网的SEM算法

针对SEM算法易收敛于局部最优的问题,提出一种改进SEM算法——DSEM-PACOB算法,采用PACOB算法提供的良好候选网络及合理的策略,估计节点变量缺失值,并使与待估节点变量紧密相关的若干节点变量直接参与估计。实验结果表明,与SEM算法相比,利用新算法获得的最终解的质量有所提高,且具有更好的稳定性。     

判别贝叶斯网络的CEM学习算法

当数据存在缺值时,通常应用EM算法学习贝叶斯网络.然而,EM算法以联合似然作为目标函数,与判别预测问题的目标相偏离.与EM算法不同,CEM(Conditional Expectation Maximum)算法直接以条件似然作为目标函数.研究了判别贝叶斯网络学习的CEM算法,提出一种使得CEM算法具有单调性和收敛性的Q函数.为了简化计算,在CEM算法的E步,应用Q函数的一种简化形式;在CEM算法的M步,应用梯度下降法的一次搜索结果作为最优值的近似.最后,在UCI数据集上的实验结果表明了CEM算法在判别贝叶斯网络学习中的有效性.     

基于遗传算法和强化学习的贝叶斯网络结构学习算法

遗传算法是基于自然界中生物遗传规律的适应性原则对问题解空间进行搜寻和最优化的方法。贝叶斯网络是对不确定性知识进行建模、推理的主要方法,Bayesian网中的学习问题(参数学习与结构学习)是个NP-hard问题。强化学习是利用新顺序数据来更新学习结果的在线学习方法。介绍了利用强化学习指导遗传算法,实现对贝叶斯网结构进行有效学习。     

一种小规模数据集下的贝叶斯网络学习方法及其应用

提出了一种小规模数据集下学习贝叶斯网络的有效算法—FCLBNo FCLBN利用bootstrap方法在给定的小样本数据集上进行重抽样,然后用在抽样后数据集上学到的贝叶斯网络来佑计原数据集上的贝叶斯网络的高置信度的特征,并用这些特征来指导在原数据集上的贝叶斯网络搜索。用标准的数据集验证了FCLBN的有效性,并将FCLBN应用于酵母菌细胞中蛋白质的定位预测。实验结果表明,FCLBN能够在小规模数据集上学到较好的网络模型。     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

面向大规模数据集的贝叶斯网络参数学习算法

贝叶斯网络的学习可以分为结构学习和参数学习。期望最大化（EM）算法通常用于不完整数据的参数学习,但是由于EM算法计算相对复杂,存在收敛速度慢和容易局部最大化等问题,传统的EM算法难于处理大规模数据集。研究了EM算法的主要问题,采用划分数据块的方法将大规模数据集划分为小的样本集来处理,降低了EM算法的计算量,同时也提高了计算精度。实验证明,该改进的EM算法具有较高的性能。     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.     

先验信息不确定条件下贝叶斯网结构学习方法

针对先验信息不确定条件下的贝叶斯网络学习问题,提出了一种非确定先验结构信息贝叶斯网络的结构学习方法。主要在以下几个方面开展了工作：提出了一种贝叶斯网络结构的不确定先验信息表示方法;改进了MDL测度,提出了SMDL测度,使之能在学习过程中考虑先验信息的不确定性;基于模拟退火算法,对问题进行求解。最后通过实验对算法的可行性进行了验证。     

基于EM和贝叶斯网络的丢失数据填充算法

实际应用中存在大量的丢失数据的数据集,对丢失数据的处理已成为目前分类领域的研究热点。分析和比较了几种通用的丢失数据填充算法,并提出一种新的基于EM和贝叶斯网络的丢失数据填充算法。算法利用朴素贝叶斯估计出EM算法初值,然后将EM和贝叶斯网络结合进行迭代确定最终更新器,同时得到填充后的完整数据集。实验结果表明,与经典填充算法相比,新算法具有更高的分类准确率,且节省了大量开销。     

基于无约束优化和遗传算法的贝叶斯网络结构学习方法

基于无约束优化和遗传算法,提出一种学习贝叶斯网络结构的限制型遗传算法.首先构造一无约束优化问题,其最优解对应一个无向图.在无向图的基础上,产生遗传算法的初始种群,并使用遗传算法中的选择、交叉和变异算子学习得到最优贝叶斯网络结构.由于产生初始种群的空间是由一些最优贝叶斯网络结构的候选边构成,初始种群具有很好的性质.与直接使用遗传算法学习贝叶斯网络结构的效率相比,该方法的学习效率相对较高.     

面向上下文感知计算的贝叶斯网络结构自学习算法的研究

通过对上下文感知计算中上下文特点的详细分析,提出一种面向上下文感知计算的通用贝叶斯网络结构自学习方法。该方法能在足够实例数据的支撑下自动对上下文感知计算中上下文之间的关系进行学习,进而形成贝叶斯网络结构,用于从低层上下文向高层上下文的演化。通过对上下文感知计算中上下文的层次化特点的有效利用,该方法对贝叶斯网络自学习方法进行了有效优化。研究分析表明,该方法能显著降低贝叶斯网络学习过程中的时间复杂度。     

基于朴素贝叶斯的EM缺失数据填充算法

实际应用中大量的不完整的数据集,造成了数据中信息的丢失和分析的不方便,所以对缺失数据的处理已经成为目前分类领域研究的热点。由于EM方法随机选取初始代表簇中心会导致聚类不稳定,本文使用朴素贝叶斯算法的分类结果作为EM算法的初始使用范围,然后按E步M步反复求精,利用得到的最大化值填充缺失数据。实验结果表明,本文的算法加强了聚类的稳定性,具有更好的数据填充效果。     

基于拓扑序列和量子遗传算法的贝叶斯网结构学习

贝叶斯网是处理不确定性问题知识表示和推理的最重要的理论模型之一,其结构学习是目前研究的一个热点。提出了一种基于拓扑序列和量子遗传算法的贝叶斯网结构学习算法,新算法首先利用量子信息的丰富性和量子计算的并行性,设计出基于量子染色体的拓扑序列生成策略提高了搜索效率,并为K2算法学得高质量的贝叶斯网结构提供了保障;然后采用带上下界的自适应量子变异策略,增强了种群的多样性,提高了算法的搜索能力。实验结果表明,与已有的一些算法相比,新算法不仅能获得较高质量的解,而且还有着较快的收敛速度。     

基于MWST-CS-K2算法的贝叶斯网络结构学习

针对K2算法依赖最大父节点数和节点顺序的不足,提出了一种改进的贝叶斯网络结构学习算法（MWST-CS-K2）。该算法先通过构造最大支撑树（MWST）得到最大父节点数;再利用变量间的关联度和更新系数对加边、减边和反转边进行规则设定,通过改进的布谷鸟算法对鸟巢位置进行寻优,应用广度优先搜索策略搜索遍历得到节点顺序;最后将最大父节点数和节点顺序作为K2算法的输入搜索得到最终网络。实验表明,所提出的MWST-CS-K2算法在标准的ASIA、SACHS和CHILD网络数据测试中的平均正确边比率分别达到了97.3%、87.7%和95.6%,学习效果优于其他对比算法,获得的网络结构和标准的网络结构最为相似。     

无线传感器网络中缺失数据估计算法

为了提高无线传感器网络(WSN)中缺失数据估计值的精度,提出了一种自决策插值算法。该算法能够根据数据集的空间相关性以及缺失数据的连续性选择不同的缺失数据估计策略,并将自回归滑动平均(ARMA)模型引入到对缺失数据插值的研究中。与传统缺失值估计算法相比,该算法不仅考虑到无线传感器网络的特性,而且考虑到数据集本身的特性。在真实数据集上测试结果表明,该算法提高了对缺失值估计的精度。     

基于模型融合的分布式贝叶斯网络学习算法*

提出了一个从同构数据集中学习贝叶斯网络结构的分布式算法。该算法首先使用搜索评分的方法学习每个局部贝叶斯网络结构,然后取节点对互信息变量和条件互信息变量的数学期望作为全局学习的评价标准,融合所有局部结构得到全局结构。由于只使用了数据集中变量间的互信息和条件互信息,没有直接获取局部个体数据信息,从而可以实现有效的隐私保护。该算法在Alarm数据集上进行测试,边的误差率小于6%,运行时间比集中学习的算法的运行时间短,验证了算法的有效性。