基于遗传算法的Bayesian网结构增量学习的研究

已建成的Bayesian网与领域环境间可能存在较大偏差，加之领域本身固有的动态变化特性，因此在观察到新数据时，改善Bayesian网的性能和优化网络结构是十分必要的．提出了一种基于遗传算法的Bayesian网（包含结构和参数）求精算法．该算法基于上次的求精结果把已有的不完备数据转化成完备数据，以期望充分统计因子作为已有数据的主要存储形式，基于本次求精过程中的当前最佳个体对新数据进行完备化，并由遗传操作综合利用新数据和已有数据进行求精．模拟实验结果表明，该增量学习算法能较有效地从不完备数据中求精Bayesian网．     

基于边界的Markov网的发现

一、引言 Bayesian网是一种进行不确定性推理的有力工具,被广泛应用于人工智能、专家系统以及数据挖掘等领域。近年来,越来越多的研究者开始研究如何从大量的样本数据中发现Bayesian网络,提出了许多Bayesian网的学习算法。这些算法大致可以分为两类:基于搜索和打分的算法与基于依赖分析的算法。基于搜索和打分的算法的基本思想是根据评分函数搜索得到对样本数据拟合得最好的Bayesian网络。评分函数主要对待选的网络结构进行打分,选择与数据拟合得最好的网络结构。由于不可能对所有的网络结构进行测试,所以需要运用局部搜索算法进行网络结构的搜索,通常是从初始网络结构(可以是空结构,随机指定的结构或先验网络结构等)开始,通过增加、删除或转向操作使得局部最优化(根据评分函数),再逐渐扩展到整个网络最优化。常用的局部搜索算法是爬山法和模拟退火法。     

基于保留策略的Bayesian网优化算法

提出了一种基于保留策略的Bayesian网优化算法。算法中通过学习Bayesian网络自动获取进化过程中各基因之间的依赖关系及分布描述,以便更好地指导算法的进化,并利用保留的父辈中间群体扩充学习数据集规模,解决了Bayesian网学习可靠性与较大群体规模之间的矛盾。实验表明,算法能够在有效收敛的前提下降低对群体规模的要求,具有较高的学习效率。     

基于遗传算法的Bayesian网中连续变量离散化的研究

文中如何从含有离散变量和连续变量的混合数据中学习Bayesian网进行了研究，提出了一种基于遗传算法的连续变量散化算法，在该处中给出了兼顾离散模型准确度和复杂度的适应度函数；并基于对离散化的实质性分析，定义了离散策略等价的概念，由此制定了离散策略的编码方案；进一步设计了变换离散策略的遗传算法。算法不存在局部极值问题，且不需要事先给定变量序关系，模拟实验结果表明，该算法能有效地对连续变量散化，从而使得从混合数据中学到的Bayesian网具有较好性能。     

Rudimentary结构等价性及其应用研究

Bayesian网的结构学习是Bayesian网研究的难点之一．当问题中的变量较多时，通过结构学习得到的网络结构往往不具有唯一性．文中通过对Bayesian网结构等价性的研究，提出了Rudimentary结构等价性定理，并给出了该定理的证明．该等价性定理为提高结构学习的速度和优化Bayesian网的结构提供了理论依据．实验结果表明该定理具有较好的实用价值．     

基于粒子群优化算法的Bayesian网络结构学习

近年来,Bayesian网络已经成为人工智能领域的研究热点.为了更广泛的应用Bayesian网络,本文采用粒子群优化搜索算法,通过对粒子群算法中各个算子的确定,从训练数据样本中学习到Bayesian网络结构,并用测试数据样本测试学习结果与训练数据的匹配程度,试验结果表明,该算法能有效地学习到Bayesian网络结构.     

基于模拟退火的贝叶斯网络结构学习算法

贝叶斯网络的学习可分为结构学习和参数学习。基于模拟退火的结构学习算法是一种以搜索最高记分函数为原则的智能优化方法。本文以KL距离、相互信息以及最大相互信息为基础，通过附加合适的约束函数降低学习搜索的复杂度，提出一种附加约束的最大熵优化函数作为模拟退火算法的能量优化函数，并结合贝叶斯网络结构学习的特点设计了适合模拟退火的变量表示和邻近值产生机制。通过与其他用于结构学习的模拟退火算法，以及遗传和进化算法比较分析，结果表明本文中提出的基于模拟退火的贝叶斯网络结构学习算法在时间和精度上都具有较好的效果。     

面向粒子群优化的贝叶斯网络结构学习算法

提出了一种基于离散粒子群优化的贝叶斯网络结构学习算法——PSBN（Particle Swarm for Bayesian Network）。贝叶斯网络的结构被映射为一种符号编码,通过在迭代过程中对粒子的符号编码进行调整,从而进化得到具有更高适应度值的贝叶斯网络结构。根据贝叶斯网络的结构特点,粒子位置和速度的编码方案和基本操作被设计,使得算法对贝叶斯网络的结构学习有较好的收敛性。实验结果表明,与基于遗传算法的贝叶斯网络结构学习算法相比,PSBN算法具有较好的学习效果。     

贝叶斯网络结构学习综述

贝叶斯网络是一种有效的不确定性知识表达和推理工具,在数据挖掘等领域得到了较好的应用,而结构学习是其重要研究内容之一.经过二十多年的发展,已经出现了一些比较成熟的贝叶斯网络结构学习算法,对迄今为止的贝叶斯网络结构学习方法进行了综述.现阶段获得的用于结构学习的观测数据都比较复杂,这些数据分为完备数据和不完备数据两种类型.针对完备数据,分别从基于依赖统计分析的方法、基于评分搜索的方法和混合搜索方法三个方面对已有的算法进行分析.对于不完备数据,给出了数据不完备情况下网络结构的学习框架.在此基础上归纳总结了贝叶斯网络结构学习各个方向的研究进展,给出了贝叶斯网络结构学习未来可能的研究方向.     

一种基于贝叶斯方法的序列模式挖掘算法

贝叶斯(Bayesian)方法是近年来数据挖掘中引人注目的研究热点之一，它有效地处理不完备数据、溢出数据和噪声数据之间的序列相关性。该文在对传统序列模式挖掘算法和贝叶斯知识研究的基础上，描述了序列的概率论模型，结合贝叶斯学习，简化了序列模式挖掘过程，提出了一种面向噪声数据的基于贝叶斯方法的序列模式挖掘算法。最后对该算法进行了复杂度分析，并验证了算法性能的优越性。     

基于贝叶斯方法的决策树分类算法

针对数据挖掘的特点和本质，充分利用贝叶斯方法和决策树分类的优点，将贝叶斯的先验信息方法与决策树分类的信息增益方法相结合，提出了一种新的数据挖掘分类算法(BD1.0算法)，并对此算法进行了设计和分析。实验分析表明，该算法可以处理不一致或者不完整数据等“脏数据”，比单纯使用贝叶斯方法或决策树方法具有更高的准确率，而且与C4.5算法具有近似的时间复杂度。     

基于Jaya的贝叶斯网络结构学习算法研究

基于评分搜索的贝叶斯网络结构学习算法通常需要调参,导致计算量增大且不当的参数易使算法陷入局部最优。针对这一问题,将无需调参的Jaya算法应用于贝叶斯网络结构学习。在Jaya算法的框架下,结合遗传算法的交叉变异思想重新设计了个体更新策略,使Jaya算法能够应用于结构学习这一离散优化问题,并结合马尔科夫链的相关理论讨论了所提算法的敛散性。实验结果表明,该算法能有效应用于贝叶斯网络结构学习。     

具有丢失数据的贝叶斯网络结构学习算法

学习具有丢失数据的贝叶斯网络结构主要采用结合 EM 算法的打分一搜索方法,其效率和可靠性比较低.针对此问题建立一个新的具有丢失数据的贝叶斯网络结构学习算法.该方法首先用 Kullback-Leibler(KL)散度来表示同一结点的各个案例之间的相似程度,然后根据 Gibbs 取样来得出丢失数据的取值.最后,用启发式搜索完成贝叶斯网络结构的学习.该方法能够有效避免标准 Gibbs 取样的指数复杂性问题和现有学习方法存在的主要问题.     

基于频繁项挖掘的贝叶斯网络结构学习算法BNSL-FIM

贝叶斯网络能够表示不确定知识并进行推理计算表达,但由于实际样本数据存在噪声和大小限制以及网络空间搜索的复杂性,贝叶斯网络结构学习始终会存在一定的误差。为了提高贝叶斯网络结构学习的准确度,提出了以最大频繁项集和关联规则分析结果为先验知识的贝叶斯网络结构学习算法BNSL-FIM 。首先从数据中挖掘出最大频繁项集并对该项集进行结构学习,之后使用关联规则分析结果对其进行校正,从而确定基于频繁项挖掘和关联规则分析的先验知识。然后提出一种融合先验知识的BDeu评分算法进行贝叶斯网络结构学习。最后在6个公开标准的数据集上开展了实验,并对比引入先验/不引入先验的结构与原始网络结构的汉明距离,结果表明所提算法与未引入先验的BDeu评分算法相比显著提高了贝叶斯网络结构学习的准确度。     

Complexity Control of H.264/AVC Based on Mode-Conditional Cost Probability Distributions

A computational complexity control algorithm is proposed for an H.264 encoder running on a processor/power constrained platform. This new computational complexity control algorithm is based on a macroblock mode prediction algorithm that employs a Bayesian framework for accurate early skip decision. Complexity control is achieved by relaxing the Bayesian maximum-likelihood (ML) criterion in order to match the mode decision threshold to a target complexity level. A feedback algorithm is used to maintain the performance of the algorithm with respect to achieving an average target complexity level, reducing frame by frame complexity variance and optimizing rate-distortion performance. Experimental results show that this algorithm can effectively control the encoding computational complexity while maintaining a good rate-distortion performance at a range of target complexity levels.      

MCMC-based estimation methods for continuous longitudinal data with non-random (non)-monotone missingness

The analysis of incomplete longitudinal data requires joint modeling of the longitudinal outcomes (observed and unobserved) and the response indicators. When non-response does not depend on the unobserved outcomes, within a likelihood framework, the missingness is said to be ignorable, obviating the need to formally model the process that drives it. For the non-ignorable or non-random case, estimation is less straightforward, because one must work with the observed data likelihood, which involves integration over the missing values, thereby giving rise to computational complexity, especially for high-dimensional missingness. The stochastic EM algorithm is a variation of the expectation-maximization (EM) algorithm and is particularly useful in cases where the E (expectation) step is intractable. Under the stochastic EM algorithm, the E-step is replaced by an S-step, in which the missing data are simulated from an appropriate conditional distribution. The method is appealing due to its computational simplicity. The SEM algorithm is used to fit non-random models for continuous longitudinal data with monotone or non-monotone missingness, using simulated, as well as case study, data. Resulting SEM estimates are compared with their direct likelihood counterparts wherever possible.     

Bayesian estimation of beta mixture models with variational inference

Bayesian estimation of the parameters in beta mixture models (BMM) is analytically intractable. The numerical solutions to simulate the posterior distribution are available, but incur high computational cost. In this paper, we introduce an approximation to the prior/posterior distribution of the parameters in the beta distribution and propose an analytically tractable (closed form) Bayesian approach to the parameter estimation. The approach is based on the variational inference (VI) framework. Following the principles of the VI framework and utilizing the relative convexity bound, the extended factorized approximation method is applied to approximate the distribution of the parameters in BMM. In a fully Bayesian model where all of the parameters of the BMM are considered as variables and assigned proper distributions, our approach can asymptotically find the optimal estimate of the parameters posterior distribution. Also, the model complexity can be determined based on the data. The closed-form solution is proposed so that no iterative numerical calculation is required. Meanwhile, our approach avoids the drawback of overfitting in the conventional expectation maximization algorithm. The good performance of this approach is verified by experiments with both synthetic and real data.     

具有丢失数据的贝叶斯网络结构学习研究

目前主要基于EM算法和打分-搜索方法进行具有丢失数据的贝叶斯网络结构学习,算法效率较低,而且易于陷入局部最优结构.针对这些问题,建立了一种新的具有丢失数据的贝叶斯网络结构学习方法.首先随机初始化未观察到的数据,得到完整的数据集,并利用完整数据集建立最大似然树作为初始贝叶斯网络结构,然后进行迭代学习.在每一次迭代中,结合贝叶斯网络结构和Gibbs sampling修正未观察到的数据,在新的完整数据集的基础上,基于变量之间的基本依赖关系和依赖分析思想调整贝叶斯网络结构,直到结构趋于稳定.该方法既解决了标准Gi     

基于属性分割的差分隐私异构多属性数据发布

针对现有多属性数据隐私发布方法无法兼顾属性的敏感性差异和计算效率低的问题, 提出了一种基于属性分割的差分隐私异构多属性数据发布方法HMPrivBayes. 首先, 设计了满足差分隐私的谱聚类算法分割原始数据集, 其中相似矩阵的生成借助于属性最大信息系数. 其次, 借助属性信息, 该方法使用满足差分隐私的改进贝叶斯网络构建算法分别为每个数据子集构建贝叶斯网络. 最后, 以属性归一化风险熵为权重分配隐私预算, 对贝叶斯网络提取的属性联合分布添加异构噪声扰动, 实现了异构多属性数据保护. 实验结果表明, HMPrivBayes可以在减少注入合成数据集中噪声量的同时, 提高合成数据计算效率.     

基于自适应Nyström采样的大数据谱聚类算法

面对结构复杂的数据集,谱聚类是一种灵活而有效的聚类方法,它基于谱图理论,通过将数据点映射到一个由特征向量构成的低维空间,优化数据的结构,得到令人满意的聚类结果.但在谱聚类的过程中,特征分解的计算复杂度通常为O(n³),限制了谱聚类算法在大数据中的应用.Nyström扩展方法利用数据集中的部分抽样点,进行近似计算,逼近真实的特征空间,可以有效降低计算复杂度,为大数据谱聚类算法提供了新思路.抽样策略的选择对Nyström扩展技术至关重要,设计了一种自适应的Nyström采样方法,每个数据点的抽样概率都会在一次采样完成后及时更新,而且从理论上证明了抽样误差会随着采样次数的增加呈指数下降.基于自适应的Nyström采样方法,提出一种适用于大数据的谱聚类算法,并对该算法的可行性和有效性进行了实验验证.