一种基于因果强度的局部因果结构主动学习方法

因果结构学习是贝叶斯网络学习中一种重要的结构学习方法,因果关系揭示了系统要素作用的本质。由于 仅利用观测数据很难准确地发现变量间的因果关系,且通常人们仅关心网络中关于某一变量的局部因果关系,因此针 对难以从观测数据中仅获取所感兴趣的变量的局部因果结构的问题,提出了一种局部结构学习方法,即一种基于因果 强度的局部因果结构主动学习方法(CSI-I_CS工力。CSI一工CSI方法融合了马尔可夫毯的结构划分能力和扰动学习的因 果发现能力,并且引入了因果强度进行扰动结点的选择。利用HITON MI3算法寻找目标结点的马尔可夫毯,生成关 于目标结点的局部模型;然后,利用不对称信息墒对局部模型中的每一结点进行因果强度分析,选取因果强度值较大 的结点进行扰动,生成扰动数据;进而,联合扰动数据和观测数据利用准确方法(exact method)学习边的后验概率,从 而获得一个关于目标结点的局部因果网络。利用结构信息嫡对CSI-LCSL方法的学习结果进行评估。在标准网络上 的实验结果证实了CSI一LCSI、算法的有效性。     

基于马尔科夫边界发现的因果特征选择算法综述

因果特征选择算法(也称为马尔科夫边界发现)学习目标变量的马尔科夫边界,选择与目标存在因果关系的特征,具有比传统方法更好的可解释性和鲁棒性.文中对现有因果特征选择算法进行全面综述,分为单重马尔科夫边界发现算法和多重马尔科夫边界发现算法.基于每类算法的发展历程,详细介绍每类的经典算法和研究进展,对比它们在准确性、效率、数据依赖性等方面的优劣.此外,进一步总结因果特征选择在特殊数据(半监督数据、多标签数据、多源数据、流数据等)中的改进和应用.最后,分析该领域的当前研究热点和未来发展趋势,并建立因果特征选择资料库(http://home.ustc.edu.cn/～xingyuwu/MB.html),汇总该领域常用的算法包和数据集.     

一般贝叶斯网络分类器及其学习算法

贝叶斯网络（BN）应用于分类应用时对目标变量预测有直接贡献的局部模型称作一般贝叶斯网络分类器（GBNC）。推导GBNC的传统途径是先学习完整的BN,而现有推导BN结构的算法限制了应用规模。为了避免学习全局BN,提出仅执行局部搜索的结构学习算法IPC-GBNC,它以目标变量节点为中心执行广度优先搜索,且将搜索深度控制在不超过2层。理论上可证明算法IPC-GBNC是正确的,而基于仿真和真实数据的实验进一步验证了其学习效果和效率的优势：（1）可输出和执行全局搜索的PC算法相同甚至更高质量的结构;（2）较全局搜索消耗少得多的计算量;（3）同时实现了降维（类似决策树学习算法）。相比于绝大多数经典分类器,GBNC的分类性能相当,但兼具直观、紧凑表达和强大推理的能力（且支持不完整观测值）。     

用贝叶斯网络进行因果分析

因果分析是贝叶斯网络的一个重要应用领域。因果分析不同于相关分析,无论对数据分析、扰动分析还是预测都是十分重要的。贝叶斯网络虽然有一定的因果语义(我们常常用变量的因果关系构造贝叶斯网络结构),但贝叶斯网络是条件独立性的表示,因此我们不能不加限定地用贝叶斯网络进行因果分析。贝叶斯     

基于扰动数据的因果网络结构的学习

因果网络是一种把节点间的有向边解释成因果关系的贝叶斯网络,它可以用来为现实中的黑盒系统建模。由于存在多个贝叶斯网络可以表述相同的条件独立声明,所以这些网络统计上是不可区分的,它们被称为是马尔科夫等价网络。这意味着,即使知道两个网络节点是相关的,也不能区分谁是原因,谁是结果。为了解决这个问题,提出一种基于扰动数据的因果网络结构的学习算法,通过引入扰动数据,改动传统的打分方式,在此基础上进行马尔科夫链—蒙特卡罗搜索最好得分。实验结果表明,这种方法有效地找到了可信的因果网络结构。     

企业运行指标因果分析的动态贝叶斯网络方法*

针对现有的企业运行指标分析方法只强调动态或静态信息,不易实现二者结合的情况,建立用于企业运行指标因果分析的动态贝叶斯网络模型,这种模型可将时间片间的指标动态时序因果关系与时间片内指标静态因果联系融为一体,并通过量化推理进行动态与静态因果分析。通过与领域专家交流,所建立的企业运行指标动态贝叶斯网络良好地反映了数据中所蕴含的因果关系。     

基于拓扑信息加速马尔科夫毯学习

目标变量的马尔科夫毯（MB）是用于预测其状态的最优特征子集。提出一种新的约束学习类MB推导算法FSMB,它遵循后向选择的搜索策略,并依赖条件独立（CI）测试删除任意结点对之间的伪连接。与传统约束学习类算法不同,FSMB能从已执行的CI测试推导出不同结点扮演d 分割（d separation）结点的优先等级;而后基于该信息在未来优先执行条件集中包含高优先级结点的CI测试,从而更快速地判断并删除伪连接边。该策略可帮助快速缩小搜索空间,从而大大提升学习效率。基于仿真网络的实验研究显示,FSMB在计算效率上较经典的PCMB和IPC MB有显著的提升,而学习效果相当;在面对较大网络结构时（比如100和200个结点）,甚至比公认最快速的IAMB还节省近40%的计算量,但学习效果要远优于IAMB。基于16个UCI数据集和4个经典的分类模型的实验显示,基于FSMB输出的特征集合所训练模型的分类准确率普遍接近或高于基于原有特征全集训练所得模型。因此,FSMB是快速且有效的MB推导算法。     

贝叶斯网络适应性学习

在现实中,随着对领域问题认识的深入,往往需要对贝叶斯网络进行调整,以使贝叶斯网络模型能够更好地反映实际问题.但调整后的贝叶斯网络中一些新参数需要根据原有贝叶斯网络来确定,目前缺乏对新参数学习方法的研究.本文基于专家知识调整贝叶斯网络结构,将原贝叶斯网络和新贝叶斯网络相结合,通过推理进行新参数的迭代学习,可实现贝叶斯网络的适应性学习.     

基于贝叶斯网络的马尔科夫毯预测学习

研究变量之间的预测能力在许多领域都有重要意义,通过这种研究,能够揭示变量之间的制约机制,贝叶斯网络是研究变量之间预测能力的有力工具.本文使用依赖分析方法建立基于贝叶斯网络的马尔科夫毯预测,其核心问题是贝叶斯网络结构学习.目前,基于依赖分析的贝叶斯网络结构学习方法主要存在三个问题:(1)需要进行大量的高维条件概率计算,(2)容易丢失弱联合依赖边,(3)对边的方向的确定具有局限性.针对这些问题,本文提出了首先进行递推条件独立性检验,然后进行因果语义定向,最后进行冗余边检验的贝叶斯网络结构学习方法.该方法能够有效地避免这些问题,更准确地建立马尔科夫毯预测.     

用于因果分析的混合贝叶斯网络结构学习

目前主要结合扩展的熵离散化方法和打分一搜索方法进行混合贝叶斯网络结构学习，算法效率和可靠性低，而且易于陷入局部最优结构。针对问题建立了一种新的混合贝叶斯网络结构迭代学习方法．在迭代中，基于父结点结构和Gibbs sampling进行混合数据聚类，实现对连续变量的离散化，再结合贝叶斯网络结构优化调整，使贝叶斯网络结构序列逐渐趋于稳定，可避免使用扩展的熵离散化和打分——搜索所带来的主要问题．     

贝叶斯网络结构学习的发展与展望

从最初的概率贝叶斯网络构建阶段到涌现大量研究成果的因果贝叶斯网络结构学习阶段,本文完整地回顾了贝叶斯网络结构学习的整个发展历程,并对该领域当前存在的问题及相关研究进行分析论述,给出了研究展望.值得一提的是,贝叶斯网络结构学习正在成为因果数据挖掘的主流.     

基于级联加性噪声模型的因果结构学习算法

现有级联非线性加性噪声模型可解决隐藏中间变量的因果方向推断问题,然而对于包含隐变量和级联传递因果关系的因果网络学习存在全局结构搜索、等价类无法识别等问题。设计一种面向非时序观测数据的两阶段因果结构学习算法,第一阶段根据观测数据变量间的条件独立性,构建基本的因果网络骨架,第二阶段基于级联非线性加性噪声模型,通过比较骨架中每个相邻因果对在不同因果方向假设下的边缘似然度进行因果方向推断。实验结果表明,该算法在虚拟因果结构数据集的不同隐变量数量、平均入度、结构维度、样本数量下均表现突出,且在真实因果结构数据集中的F1值相比主流因果结构学习算法平均提升了51%,具有更高的准确率和更强的鲁棒性。     

Efficient and effective Bayesian network local structure learning

In this paper, we propose a more efficient Bayesian network structure learning algorithm under the framework of score based local learning (SLL). Our algorithm significantly improves computational efficiency by restricting the neighbors of each variable to a small subset of candidates and storing necessary information to uncover the spouses, at the same time guaranteeing to find the optimal neighbor set in the same sense as SLL. The algorithm is theoretically sound in the sense that it is optimal in the limit of large sample size. Empirical results testify its improved speed without loss of quality in the learned structures.     

多维贝叶斯网络分类器加速学习算法

作为概率图模型,无限制多维贝叶斯网络分类器(GMBNC)是贝叶斯网络(BN)应用在多维分类应用时的精简模型,只包含对预测有效的局部结构.为了获得GMBNC,传统方法是先学习全局BN;为了避免全局搜索,提出了仅执行局部搜索的结构学习算法DOS-GMBNC.该算法继承了之前提出的IPC-GMBNC算法的主体框架,基于进一步挖掘的结构拓扑信息来动态调整搜索次序,以避免执行无效用的计算.实验研究验证了DOS-GMBNC算法的效果和效率:(1)该算法输出的网络质量与IPC-GMBNC一致,优于经典的PC算法;(2)在一个包含100个节点的问题中,该算法相对于PC和IPC-GMBNC算法分别节省了近89％和45％的计算量.     

局部因果关系分析的隐变量发现算法

结构分析的隐变量发现方法难以有效地发现隐变量且可解释性较差。基于因果关系和局部结构的不确定性,提出了一种基于局部因果关系分析的隐变量发现算法（hidden variable discovering algorithm based on local causality analysis,LCAHD）。LCAHD算法给出了因果结构熵的定义,将因果知识和不确定性知识相融合,以因果关系的不确定性程度作为隐变量存在的判定依据,并对这一依据进行了理论上的论证。LCAHD算法首先通过寻找目标变量的马尔科夫毯来提取局部依赖结构,并基于扰动学习获得扰动数据,联合扰动数据和观测数据学习局部依赖结构中的因果关系;然后利用因果结构熵对局部因果结构中因果关系的不确定性进行度量,并利用隐变量和因果关系不确定性之间的相关性判定条件,确定隐变量的存在性。分别针对标准网络和股票网络进行了实验,结果表明,该算法能准确地确定隐变量的位置,具有较好的解释性。     

A Structure Learning Algorithm for Bayesian Network Using Prior Knowledge

Learning structure from data is one of the most important fundamental tasks of Bayesian network research. Particularly, learning optional structure of Bayesian network is a non-deterministic polynomial...     

基于贝叶斯网络的时间序列因果关系学习

贝叶斯网络是研究变量之间因果关系的有力工具,基于贝叶斯网络的因果关系学习包括结构学习与参数学习两部分,其中,结构学习是核心.目前,贝叶斯网络主要用于发现非时间序列数据中所蕴含的因果关系(非时间序列因果关系),从数据中学习得到的也均是一般变量之间的因果关系.针对这些情况,结合时间序列预处理、时间序列变量排序、转换数据集构...     

一种任意分布下的隐变量因果结构学习算法

因果发现旨在通过观测数据挖掘变量间的因果关系,在实际应用中需要从观测数据中学习隐变量间的因果结构。现有方法主要利用观测变量间的协方差信息（如四分体约束）或引入非高斯假设（如三分体约束）来解决线性因果模型下的隐变量结构学习问题,但大多限定于分布明确的情况,而实际应用环境往往并不满足这种假设。给出任意分布下隐变量结构的识别性证明,指出在没有混淆因子影响的情况下,两个隐变量的因果方向可识别所需要的最小条件是仅需要其中一个隐变量的噪声服从非高斯分布。在此基础上,针对线性隐变量模型提出一种在任意分布下学习隐变量因果结构的算法,先利用四分体约束方法学习得到隐变量骨架图,再通过枚举骨架图的等价类并测量每一个等价类中的三分体约束来学习因果方向,同时将非高斯约束放宽到尽可能最小的变量子集,从而扩展线性隐变量模型的应用范围。实验结果表明,与MIMBuild和三分体约束方法相比,该算法得到了最佳的F1值,能够在任意分布下学习更多的隐变量因果结构信息,且具有更强的鲁棒性。     

基于因果关系挖掘的概率基因调控网络的构建

科学的基因聚类方法是构建基因调控网络的前提,但仅以聚类作为构建网络的主要手段只能找到共同调控的基因,不能精确反映基因之间的相互作用过程。贝叶斯网络模型通过基于图的方式求得多变量之间条件独立的概率因果关系,但因其计算复杂性受到应用层面的限制。该文综合考虑几方面因素,在对基因进行聚类基础上,通过对调控关系的预测获得对目标基因的调控基因组,再利用LCD(local causal relation discovery)方法通过限制搜索条件发现基因间的独立关系,进而获得基因调控网络。实验结果表明了该方法的可行性和有效性。