贝叶斯学习中的线性联合先验

提出了贝叶斯学习中先验分布选取的一个新技术。该技术将若干个可能的先验进行加权平均,形成一个以权重为参数的线性联合先验,并通过选取权重参数得到一个最合适先验的一个近似。证明了线性联合先验的似然与其组合参数的似然的等价性,并提出了用极大似然或矩估计的方法来确定权重参数的值,从而得到一个最合适的线性联合先验。提出的线性联合先验及确定方法,使得可以利用样本数据对已知先验进行校正,导出未被发现的更合理的先验,从而使贝叶斯学习更为有效。     

基于共轭先验分布的贝叶斯网络分类模型

针对贝叶斯网络后验概率需计算样本边际分布,计算代价大的问题,将共轭先验分布思想引入贝叶斯分类,提出了基于共轭先验分布的贝叶斯网络分类模型.针对非区间离散样本,提出一种自适应的样本离散方法,将小波包提取模拟电路故障特征离散化作为分类模型属性.仿真验证表明,模型分类效果较好,算法运行速度得以提高,也可应用于连续样本和多分类的情况,扩展了贝叶斯网络分类的应用范围.     

基于Fisher判别分析的贝叶斯分类器

针对满足“类条件属性相互独立”假定的经典贝叶斯分类器无法有效利用类间信息的缺陷,结合Fisher线性判别分析,给出一种基于Fisher线性判别分析的贝叶斯分类器的改进算法。该算法通过寻找类与类最大分离的投影空间,将原样本向最大分离空间投影,以获得新样本,并采用贝叶斯分类器对新样本进行分类。实验结果表明,在给定的数据集上,该贝叶斯分类器的分类正确率较高,分类性能较好。     

先验信息不确定条件下贝叶斯网结构学习方法

针对先验信息不确定条件下的贝叶斯网络学习问题,提出了一种非确定先验结构信息贝叶斯网络的结构学习方法。主要在以下几个方面开展了工作：提出了一种贝叶斯网络结构的不确定先验信息表示方法;改进了MDL测度,提出了SMDL测度,使之能在学习过程中考虑先验信息的不确定性;基于模拟退火算法,对问题进行求解。最后通过实验对算法的可行性进行了验证。     

基于多重判别分析的朴素贝叶斯分类器

通过分析朴素贝叶斯分类器的分类原理,并结合多重判别分析的优点,提出了一种基于多重判别分析的朴素贝叶斯分类器DANB(Discriminant Analysis Naive Bayesian classifier).将该分类方法与朴素贝叶斯分类器(Naive Bayesian classifier, NB)和TAN分类器(Tree Augmented Naive Bayesian classifier)进行实验比较,实验结果表明在大多数数据集上,DANB分类器具有较高的分类正确率.     

基于先验贝叶斯推断验证法的高可靠性评估

评估是保证高可信软件中高可靠性的重要手段。传统的评估方法要么不适应高可靠性的特点,要么不符合真正意义上的评估。基于现状,提出了一种基于先验贝叶斯推断验证的评估方法,该方法不仅利用了先验贝叶斯推断验证法的优势,而且结合了二分查找算法的迭代理论,二者结合起来实现了真正意义上有效的高可靠性评估。实例应用证明,这种评估方法比较客观、可行,具有较高的实用价值。     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.     

基于自适应LASSO先验的稀疏贝叶斯学习算法

为了提高稀疏信号恢复的准确性, 开展了基于自适应套索算子(Least absolute shrinkage and selection operator, LASSO)先验的稀疏贝叶斯学习(Sparse Bayesian learning, SBL)算法研究. 1) 在稀疏贝叶斯模型构建阶段, 构造了一种新的多层贝叶斯框架, 赋予信号中元素独立的LASSO先验. 该先验比现有稀疏先验更有效地鼓励稀疏并且该模型中所有参数更新存在闭合解. 然后在该多层贝叶斯框架的基础上提出了一种基于自适应LASSO先验的SBL算法. 2) 为降低提出的算法的计算复杂度, 在贝叶斯推断阶段利用空间轮换变元方法对提出的算法进行改进, 避免了矩阵求逆运算, 使参数更新快速高效, 从而提出了一种基于自适应LASSO先验的快速SBL算法. 本文提出的算法的稀疏恢复性能通过实验进行了验证, 分别针对不同大小测量矩阵的稀疏信号恢复以及单快拍波达方向(Direction of arrival, DOA)估计开展了实验. 实验结果表明: 提出基于自适应LASSO先验的SBL算法比现有算法具有更高的稀疏恢复准确度; 提出的快速算法的准确度略低于提出的基于自适应LASSO先验的SBL算法, 但计算复杂度明显降低.     

基于先验节点序学习贝叶斯网络结构的优化方法

针对小样本数据集下学习贝叶斯网络 (Bayesian networks, BN)结构的不足, 以及随着条件集的增大, 利用统计方法进行条件独立 (Conditional independence, CI) 测试不稳定等问题, 提出了一种基于先验节点序学习网络结构的优化方法. 新方法通过定义优化目标函数和可行域空间, 首次将贝叶斯网络结构学习问题转化为求解目标函数极值的数学规划问题, 并给出最优解的存在性及唯一性证明, 为贝叶斯网络的不断扩展研究提出了新的方案. 理论证明以及实验结果显示了新方法的正确性和有效性.     

非确定先验信息的贝叶斯网结构学习方法

针对非确定先验结构信息下的贝叶斯网络学习问题,提出一种非确定先验结构信息贝叶斯网络的结构学习方法。为更好地利用不确定性信息,对MDL测度进行改进,提出SMDL测度,使之能在学习过程中考虑先验信息的不确定性,使用模拟退火算法对问题进行求解。通过实验对算法的可行性和效率进行验证。     

基于贝叶斯网络的草图符号识别研究

针对草图识别算法大多通过限制用户绘制习惯来提高识别精确度的问题,提出一种动态构造贝叶斯网络模型的草图符号识别方法。该方法采用了从下而上与从上而下相结合的识别算法。从下而上实现笔画的分割,根据后验概率产生假设模板,继而产生图形模板。在从上而下的处理中,通过假设模板重构实现笔画重组、根据图形模板的空槽实现笔画识别的纠错处理。通过对UM工领域中草图符号的识别,表明算法能在不限制用户绘制习惯的基础上取得较好的识别效果。     

A Structure Learning Algorithm for Bayesian Network Using Prior Knowledge

Learning structure from data is one of the most important fundamental tasks of Bayesian network research. Particularly, learning optional structure of Bayesian network is a non-deterministic polynomial...     

一种基于随机抽样的贝叶斯网络结构学习算法

针对贝叶斯网络的结构学习问题,基于并行随机抽样的思想提出了结构学习算法PCMHS,构建多条并行的收敛于Boltzmann分布的马尔可夫链.首先基于节点之间的互信息,进行所有马尔可夫链的初始化,在其迭代过程中,基于并行的MHS抽样总体得到产生下一代个体的建议分布,并通过对网络中弧和子结构的抽样产生下一代个体.算法FCMHS收敛于平稳分布,具有良好的学习精度,而该算法又通过使其初始分布和建议分布近似于其平稳分布,有效提高了马尔可夫链的收敛速度.在标准数据集上的实验结果验证了算法PCMHS的学习效率和学习精度明显优于经典算法MHS和PopMCMC.     

一个基于Bayesian学习的协商模型

在Multi-Agent系统(MAS)中,每一个Agent都有不同的目标。通常只拥有对方的不完全信息。Agent需要具有解决在实现各自目标过程中所产生的各种矛盾的能力。协商是解决这些矛盾的一种有效途径。本文提出了一个基于Bayesian学习的协商模型NMBL：在每一轮协商中,Agent通过Bayesian学习获取协商对手的信息,更新对协商对手的信念,然后根据基于冲突点和不妥协度的协商策略提出下一轮的协商提议。NMBL把整个协商过程看成一个动态的交互过程,体现了Multi-Agent系统的动态特性,同时NMBL具有较强的学习能力。试验证明,该模型具有较好的协商性能。     

基于多议题协商的贝叶斯学习

随着Internet的日益完善和电子商务的普及,如何快速、高效地进行agent协商学习是必须面对和解决的一个重要问题。文中从买方agent的观点出发,在协商过程中采用贝叶斯学习机制进行在线更新对方agent的信念,从而缩短了协商时间,提高了协商效率,并实验说明了其可行性。     

一种基于类支持度的增量贝叶斯学习算法

介绍增量贝叶斯分类器的原理,提出一种基于类支持度的优化增量贝叶斯分类器学习算法。在增量学习过程的样本选择问题上,算法引入一个类支持度因子λ,根据λ的大小逐次从测试样本集中选择样本加入分类器。实验表明,在训练数据集较小的情况下,该算法比原增量贝叶斯分类算法具有更高的精度,能大幅度减少增量学习样本优选的计算时间。     

Bayesian Model Learning Based on Predictive Entropy

Bayesian paradigm has been widely acknowledged as a coherent approach to learning putative probability model structures from a finite class of candidate models. Bayesian learning is based on measuring the predictive ability of a model in terms of the corresponding marginal data distribution, which equals the expectation of the likelihood with respect to a prior distribution for model parameters. The main controversy related to this learning method stems from the necessity of specifying proper prior distributions for all unknown parameters of a model, which ensures a complete determination of the marginal data distribution. Even for commonly used models, subjective priors may be difficult to specify precisely, and therefore, several automated learning procedures have been suggested in the literature. Here we introduce a novel Bayesian learning method based on the predictive entropy of a probability model, that can combine both subjective and objective probabilistic assessment of uncertain quantities in putative models. It is shown that our approach can avoid some of the limitations of the earlier suggested objective Bayesian methods.     

基于互信息的贝叶斯网络结构学习算法

贝叶斯网络结构学习是贝叶斯网络构建的核心,有效的结构学习算法是构建最优网络结构的基础。基于此,提出一种基于互信息的贝叶斯网络结构学习算法,该算法可以挖掘出数据集各属性中存在的隐含依赖关系,适时地对数据集进行降维操作,从而提高算法的效率,并可保证结果的准确性。实验结果表明,与常用的依赖分析算法SGS相比,在结果相似的情况下,该算法执行效率更高。