概率生成模型变分推理方法综述

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础.尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括:首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.     

概率图模型推理方法的研究进展

近年来概率图模型已成为不确定性推理的研究热点,在人工智能、机器学习与计算机视觉等领域有广阔的应用前景.根据网络结构与查询问题类型的不同,系统地综述了概率图模型的推理算法.首先讨论了贝叶斯网络与马尔可夫网络中解决概率查询问题的精确推理算法与近似推理算法,其中主要介绍精确推理中的VE算法、递归约束算法和团树算法,以及近似推理中的变分近似推理和抽样近似推理算法,并给出了解决MAP查询问题的常用推理算法;然后分别针对混合网络的连续与混合情况阐述其推理算法,并分析了暂态网络的精确推理、近似推理以及混合情况下的推理;最后指出了概率图模型推理方法未来的研究方向.     

高斯均值场变分推理的收敛性和精确性

高斯马尔可夫随机场模型是具有马尔可夫性质、符合多元高斯分布的概率模型.均值场变分方法是图模型最基本的变分近似推理方法.基于指数族变分近似推理框架,分析了高斯马尔可夫随机场模型均值场变分近似推理的收敛性和精确性,证明了均值场变分近似推理关于一阶均值参数是收敛的.进一步给出了模型的各个变量不完全独立时,对数配分函数的最优下界和迭代误差的解析式.最后,通过数值模拟实验,验证了理论分析的结果.     

Ising图模型概率推理的计算复杂性

图模型概率推理的主要任务是通过对联合概率分布进行变量求和来计算配分函数、变量边缘概率分布、条件 概率分布等。图模型概率推理计算复杂性及近似概率推理的计算复杂性是一重要的理论问题,也是设计概率推理算 法和近似概率推理算法的理论基础。研究了Ising图模型概率推理的计算复杂性,包括概率推理的难解性及不可近似 性。具体地,通过构建#2 SA"I'问题到Icing图模型概率推理问题的多项式时间计数归约,证明在一般 Ising图模型上 计算配分函数、变量边缘概率分布、条件概率分布的概率推理问题是#P难的,同时证明Icing图模型近似概率推理问 题是NP难的,即一般Icing图模型上的概率推理问题是难解且不可近似的。     

多Agent动态影响图的一种混合近似推理算法

多Agent动态影响图模型适合于对动态环境中多Agent问题进行建模,Agent之间结构关系被表示成局部的概率因式形式.概率图模型推理所面临的一个主要问题是难以实现近似推理的精度和复杂性之间的均衡.近似推理方法可提高推理精度,但同时也会带来推理精度的损失.BK和粒子滤波(PF)是动态概率模型两种重要的近似推理算法,BK算法有较高的计算效率但会引入较大的误差,PF可以近似任意分布但存在计算的高维问题.结合BK和PF的优点,提出多Agent动态影响图(MADIDs)的一种混合近似推理算法.根据概率图模型的可分解性,将MADIDs分解生成用于推理的原型联合树,混合近似推理算法在规模复杂度较小的团上执行PF推理以达到局部最佳估计,而在其他的团上执行BK推理,为了减小推理误差引入了分割团.仿真实验表明混合近似推理算法是MADIDs模型的一种有效推理方法,与BK和PF算法相比,该算法显著提高了推理精度,且可以实现推理精度和时间复杂性之间的均衡.     

Ising图模型概率推理的参数化复杂性

Ising图模型概率推理的主要工作是通过变量求和来计算配分函数和边缘概率分布。传统计算复杂性理论证明Ising图模型精确概率推理是NP难的,并且Ising图模型近似概率推理是NP难的。研究了Ising图模型精确概率推理和Ising均值场近似概率推理的参数化复杂性。首先证明了不同参数的Ising图模型概率推理的参数化复杂性定理,指出基于变量个数或图模型树宽的参数化概率推理问题是固定参数可处理的。然后证明了Ising均值场的参数化复杂性定理,指出基于自由分布树宽、迭代次数和变量个数的参数化Icing均值场是固定参数可处理的;进一步,当Ising图模型参数满足Ising均值场迭代式压缩条件时,基于自由分布树宽和迭代次数的参数化Ising均值场是固定参数可处理的。     

概率SDG 模型及故障分析推理方法

符号有向图（SDG）是用来表示大规模复杂系统中变量之间因果影响关系的一种重要工具,但其存在一些不易克服的缺点.为此,首先提出一种新的模型--概率SDG模型,用条件概率描述故障之间的传递关系;然后在概率SDG模型的框架下,提出一种故障分析诊断的推理方法,即利用图消去算法和连接树算法进行贝叶斯推理,并计算出故障概率.最后以65 t/h锅炉系统为例,研究建立其概率SDG模型,并在此基础上验证了上述模型和推理方法的有效性.     

概率图模型研究进展综述

概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新进展.最后讨论了相关方向的研究前景.     

一种基于近似因子的在线概率知识库推理方法

概率知识库中的推理技术是近年来的研究热点。目前大多数系统的推理主要基于批处理的方式实现,并不适用于在线查询场景。针对此本文提出了一种基于近似因子的在线概率知识库推理方法,它可重复利用已推断结果计算查询变量的边缘概率。该算法首先提取查询变量的子图（含已推断变量）;接着在此子图上添加近似因子以模拟子图外其余变量的影响;最后采用团树算法推断查询变量的边缘概率。实验结果表明,相较于已有算法,本文算法可在时间和精度上取得较好的权衡。.     

基于自编码器的贝叶斯网嵌入及概率推理

贝叶斯网(BN)是不确定性知识表示和推理的基本框架,广泛用于社交网络、知识图谱和医疗诊断等领域.特定领域中基于BN的分析诊断和决策支持,其核心计算任务是基于BN进行多次概率推理.然而,使用传统的概率推理方法,基于同一BN的多次概率推理其中间过程存在很多重复的计算结果,具有较高的时间复杂度.为了提高多次概率推理的效率,提出易于重用和易于计算的贝叶斯网嵌入及相应的概率推理方法.首先,借鉴图嵌入的基本思想,使用点互信息矩阵来表示BN的有向无环图结构和条件概率参数,提出基于自编码器和注意力机制的BN嵌入方法.其中,自编码器的每一编码层利用节点与其邻居节点(父节点和子节点)的相关性生成节点嵌入,从而在嵌入向量中保存BN节点间的概率依赖关系.然后,使用嵌入向量之间的距离来度量节点之间的联合概率,提出基于嵌入向量的BN概率推理方法.实验证明,针对BN的多次概率推理,所提方法的效率高于现有方法,且能得到准确的推理结果.