概率生成模型变分推理方法综述

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础．尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括：首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.     

概率图模型研究进展综述

概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新进展.最后讨论了相关方向的研究前景.     

概率图模型中的变分近似推理方法

概率图模型将图论和概率论相结合,为多个变量之间复杂依赖关系的表示提供了统一的框架,在计算机视觉、自然语言处理和计算生物学等领域有着广泛的应用.概率推理(包括计算边缘概率和计算最大概率状态等问题)是概率图模型研究及应用的核心问题.本文主要介绍概率图模型近似推理方法中变分推理的最新研究成果.在变分近似推理的框架下,系统地归纳了概率图模型推理问题的基本研究思路,综述了目前主要的近似推理方法,并分析了近似算法的单调性、收敛性和全局性等性质.最后,对概率图模型近似推理方法的研究方向和应用前景作了展望.     

概率图模型学习技术研究进展

概率图模型能有效处理不确定性推理,从样本数据中准确高效地学习概率图模型是其在实际应用中的关键问题.概率图模型的表示由参数和结构两部分组成,其学习算法也相应分为参数学习与结构学习.本文详细介绍了基于概率图模型网络的参数学习与结构学习算法,并根据数据集是否完备而分别讨论各种情况下的参数学习算法,还针对结构学习算法特点的不同把结构学习算法归纳为基于约束的学习、基于评分搜索的学习、混合学习、动态规划结构学习、模型平均结构学习和不完备数据集的结构学习.并总结了马尔科夫网络的参数学习与结构学习算法.最后指出了概率图模型学习的开放性问题以及进一步的研究方向.     

LDA-CRF:一种基于概率图模型的目标检测方法

目标检测和识别是计算机视觉和机器学习的研究热点.近年来,主题模型(如LDA等)在无监督的图像识别和定位等应用中获得了巨大的成功.然而,LDA忽略了图像区域之间的空间关系,并且不能处理连续值的视觉特征或特征向量.而条件随机场(CRF)能够利用图像区域之间的局部相关性来提高分类准确性.基于LDA和CRF提出了一种LDA-CRF模型.通过利用LDA生成的主题信息来辅助CRF的分类,同时结合图像区域之间结构化的类别信息来改进LDA的主题生成机制.实验结果表明,LDA-CRF模型的检测效果要优于CRF.     

一种新的面向对象的概率图模型

针对大规模Bayes网络的知识表示和推理等问题,使用面向对象的方法扩展Bayes网络结构,提出了一种新的概率图模型——对象概率模型（OPM）．该模型充分利用层次结构中所蕴含的条件独立性,有效地降低了知识表示的复杂度．在Bayes网络消元推理算法的基础上设计了OPM的一种有效的推理算法,该算法可以根据需要调节推理的计算量,在一定程度上解决了概率推理的计算的复杂度问题．将OPM用于解决图像中文本的自动检测与定位问题,实验结果验证了模型的有效性．     

一种基于3因素概率图模型的长尾推荐方法

互联网时代,数据呈爆炸式增长,前所未有的数据量远远超过受众的接收和处理能力,因此,从海量复杂数据中有效获取关键性有用信息成为必须解决的问题.面对信息过载问题,人们迫切需要一种高效的信息过滤系统,“推荐系统”应运而生.在现实的推荐场景中,用户给予项目的评分或者选择项目的频次是一个典型的长尾现象.事实上,长尾现象的深入分析,不仅有助于挖掘用户的个性化偏好,更有助于电商场景中相关利益主体的业绩提升.因此,长尾推荐研究日益受到重视.针对长尾推荐的可解释性问题,提出了基于3因素概率图模型的长尾推荐方法.面对长尾推荐过程中推荐系统、用户对“具有可解释性的长尾项目推荐”的现实需求,着眼于概率图模型在因果关系方面的可解释性优势,立足于“新颖性+准确性”综合考量的方法设计目标,建立了基于用户活跃度、项目非流行度和用户-项目偏好水平的3因素概率图推荐方法.实验比较结果表明,具有可解释性优势的3因素概率图推荐方法在保证一定预测精度的前提下具有更好的新颖性推荐效果.     

基于概率图模型的点集匹配方法研究

在概率图模型框架下提出了一种将回归分析和聚类分析相结合的贝叶斯点集匹配方法,其中,回归分析用来估计两个点集之间的映射函数,而聚类分析用来建立两个点集中点与点之间的对应关系.本文将点集匹配问题表示为一种多层的概率有向图,并提出了一种由粗到精的变分逼近算法来估计点集匹配的不确定性;此外,还利用高斯混合模型估计映射函数回归中的异方差噪声和场景点密度估计中离群点的分布;同时,引入转移变量建立起模型点集与场景点集之间的关系,并与离群点混合模型共同对场景点的分布进行估计.实验结果表明,该方法与其他点集匹配算法相比,在鲁棒性和匹配精度方面均达到了较好的效果.     

基于概率图的三支决策模型研究

概率图模型是一类用图形模式表达基于概率关系的模型的总称,用该模型解决损失代价问题已成为当前的研究热点。结合概率图和三支决策理论,提出了基于概率图的三支决策模型。该模型通过对数据进行分析,构造其Bayes网络;并根据模型中节点的相互依赖关系,计算出条件概率分布函数;结合查询变量的先验概率和三支决策损失代价函数,建立了相应的决策规则,给出了概率推理决策中代价最小化问题的一种解决方法。最后通过教学评估实例验证了该模型的有效性。     

概率图模型及其图像与视频应用研究

概率图模型及其应用作为一个具有挑战性的研究领域目前已成为一个新的研究热点。概率图模型为解决智能信息领域的不确定性问题提供了重要途径。尽管目前概率图模型还处于不断发展之中,但近年来基于概率图模型的图像和视频智能信息处理的应用研究受到人们的关注,出现了许多有效的算法,这些算法为解决一些传统的图像和视频智能信息处理问题提供了新的途径。本文首先对概率图模型的3种重要表现形式、特性和主要技术进行了分析和讨论,在此基础上,以概率图模型在图像和视频中的应用为线索,对目前基于概率图模型的图像和视频智能信息处理的主要技术进行了概述和比较研究;最后对概率图模型所存在的一些问题及进一步的发展进行了展望。     

Ising图模型概率推理的计算复杂性

图模型概率推理的主要任务是通过对联合概率分布进行变量求和来计算配分函数、变量边缘概率分布、条件 概率分布等。图模型概率推理计算复杂性及近似概率推理的计算复杂性是一重要的理论问题,也是设计概率推理算 法和近似概率推理算法的理论基础。研究了Ising图模型概率推理的计算复杂性,包括概率推理的难解性及不可近似 性。具体地,通过构建#2 SA"I'问题到Icing图模型概率推理问题的多项式时间计数归约,证明在一般 Ising图模型上 计算配分函数、变量边缘概率分布、条件概率分布的概率推理问题是#P难的,同时证明Icing图模型近似概率推理问 题是NP难的,即一般Icing图模型上的概率推理问题是难解且不可近似的。     

Ising图模型概率推理的参数化复杂性

Ising图模型概率推理的主要工作是通过变量求和来计算配分函数和边缘概率分布。传统计算复杂性理论证明Ising图模型精确概率推理是NP难的,并且Ising图模型近似概率推理是NP难的。研究了Ising图模型精确概率推理和Ising均值场近似概率推理的参数化复杂性。首先证明了不同参数的Ising图模型概率推理的参数化复杂性定理,指出基于变量个数或图模型树宽的参数化概率推理问题是固定参数可处理的。然后证明了Ising均值场的参数化复杂性定理,指出基于自由分布树宽、迭代次数和变量个数的参数化Icing均值场是固定参数可处理的;进一步,当Ising图模型参数满足Ising均值场迭代式压缩条件时,基于自由分布树宽和迭代次数的参数化Ising均值场是固定参数可处理的。     

概率图模型表示理论

概率图模型结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。近年它已成为不确定性推理的研究热点,在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。主要研究概率图模型的表示方法,讨论如何利用概率网络中的独立性来简化联合概率分布的方法表示。首先介绍了单个节点上的条件概率分布的表示模型及其引起的独立性,包括表格CPD、确定性CPD、特定上下文CPD、因果影响CPD、高斯模型和混合模型,并把单个分布模型推广到指数分布族中。然后详细介绍贝叶斯网络中的独立性以及图与概率分布的关系,讨论了高斯分布和指数分布族的贝叶斯网络表示理论。再详细描述马尔可夫网络的参数化问题及其独立性,也讨论高斯分布和指数分布族的马尔可夫网络表示理论。还给出两种局部有向图模型:条件随机场和链图。并且描述基于模板的概率模型表示,包括动态贝叶斯网络和状态观测模型这两种暂态模型,以及盘模型和概率关系模型这两种对象关系领域的有向概率模型,而且给出对象关系领域的无向表示。最后对概率图模型表示理论和方法所面临的问题及前景进行展望。     

支持短时交通流量预测的概率图模型构建与推理

短时交通流量预测,是交通系统信息化和智能化交通运输管理技术领域研究的关键问题.目前的方法对历史数据具有较高的依赖程度,或者具有较高的计算成本,或者不能有效反映实际中较复杂的交通网络及各结点之间的相互关系、以及依赖的不确定性,或者多种模型的组合使得预测方法较复杂.贝叶斯网是一种重要的概率图模型,本文以交通网络结构为基础,利用概率图模型在不确定性知识表示和推理方面的良好性质,考虑路口交通流量及其预测的时序依赖特征,构建了带有时序条件依赖关系的交通贝叶斯网.进而针对短时交通流量预测的实时性和高效性要求,提出了基于Gibbs采样的交通贝叶斯网近似概率推理算法,并进行交通流量的短时预测.实验结果表明,本文提出的交通贝叶斯网构建、近似推理以及相应的短时交通流量的预测方法,具有高效性、准确性和可用性.     

异构信息网络数据上的融合概率图模型

针对异构信息网络中存在多种数据目标类型,以及多种数据连接关系的问题,将多个主题模型和马尔科夫逻辑网相结合,提出了一种融合概率图模型。多个主题模型可以分别描述不同数据目标子空间的主题分布,实现对多种数据目标的预处理。用一阶逻辑子句描述的连接规则构建马尔科夫逻辑网,将每个主题模型中的不同数据目标连接起来。通过使用Gibbs采样,可以对异构网络进行参数学习和推理。在国际通用的异构信息网络DBLP数据集上的实验结果表明,使用融合概率图模型能够更好地表示不同的数据目标和连接关系。实验对比了4种典型的分类方法,多次采样得到的分类结果稳定,对作者、文章和会议取得了较好的分类结果。     

基于概率推理模型的博客倾向性检索研究

近年来博客作为一种新兴的大众化新闻发布媒介越来越受到人们和业界的关注.博客之间通过互相引用、互相推荐形成一个巨大的博客空间.在博客空间中,人们既可以自由发表对现实生活各种问题的观点,表达自己的情感,也可以对市场上出现的新产品进行评论.准确检索出博客空间中人们对重要话题、热点事件的观点看法对市场调研、网络舆情发现与预警等应用有重要意义.博客倾向性检索的目标是检索出与给定查询既要主题相关又要有与该查询相关评论的博文.为实现该目标,把概率推理模型应用于博客倾向性检索中,提出一个基于概率推理模型的博客倾向性检索算法.该算法把主题相关性评分和倾向性评分合并到一个统一的概率推理理论模型,能够有效计算博文中出现的主题描述与查询的主题相关性,合理度量倾向性词描述查询主题的倾向性强弱,并融合二者分数形成最后整体评分.实验表明,该算法能够有效地识别博客空间中与给定查询相关的观点,获得较好的结果.     

黑盒机器学习模型的成员推断攻击研究

近年来,机器学习技术飞速发展,并在自然语言处理、图像识别、搜索推荐等领域得到了广泛的应用.然而,现有大量开放部署的机器学习模型在模型安全与数据隐私方面面临着严峻的挑战.本文重点研究黑盒机器学习模型面临的成员推断攻击问题,即给定一条数据记录以及某个机器学习模型的黑盒预测接口,判断此条数据记录是否属于给定模型的训练数据集....     

Representing and processing lineages over uncertain data based on the Bayesian network

Processing lineages (also called provenances) over uncertain data consists in tracing the origin of uncertainty based on the process of data production and evolution. In this paper, we focus on the representation and processing of lineages over uncertain data, where we adopt Bayesian network (BN), one of the popular and important probabilistic graphical models (PGMs), as the framework of uncertainty representation and inferences. Starting from the lineage expressed as Boolean formulae for SPJ (Selection–Projection–Join) queries over uncertain data, we propose a method to transform the lineage expression into directed acyclic graphs (DAGs) equivalently. Specifically, we discuss the corresponding probabilistic semantics and properties to guarantee that the graphical model can support effective probabilistic inferences in lineage processing theoretically. Then, we propose the function-based method to compute the conditional probability table (CPT) for each node in the DAG. The BN for representing lineage expressions over uncertain data, called lineage BN and abbreviated as LBN, can be constructed while generally suitable for both safe and unsafe query plans. Therefore, we give the variable-elimination-based algorithm for LBN's exact inferences to obtain the probabilities of query results, called LBN-based query processing. Then, we focus on obtaining the probabilities of inputs or intermediate tuples conditioned on query results, called LBN-based inference query processing, and give the Gibbs-sampling-based algorithm for LBN's approximate inferences. Experimental results show the efficiency and effectiveness of our methods.