概率图模型中的变分近似推理方法

概率图模型将图论和概率论相结合,为多个变量之间复杂依赖关系的表示提供了统一的框架,在计算机视觉、自然语言处理和计算生物学等领域有着广泛的应用.概率推理(包括计算边缘概率和计算最大概率状态等问题)是概率图模型研究及应用的核心问题.本文主要介绍概率图模型近似推理方法中变分推理的最新研究成果.在变分近似推理的框架下,系统地归纳了概率图模型推理问题的基本研究思路,综述了目前主要的近似推理方法,并分析了近似算法的单调性、收敛性和全局性等性质.最后,对概率图模型近似推理方法的研究方向和应用前景作了展望.     

一种基于概率图模型的不确定性数据世系表示方法

不确定性数据的世系分析是基于数据产生和演变的过程来跟踪数据不确定性的来源.为了有效地描述数据间复杂的相关性及不确定性,并从理论上保证世系分析中概率计算的正确性,文中研究了基于贝叶斯网这一重要的概率图模型的不确定性数据世系表示方法.以世系的布尔公式和不确定性数据本身为出发点,提出了将布尔公式等价转换为贝叶斯网的方法,并讨...     

概率图模型研究进展综述

概率图模型作为一类有力的工具,能够简洁地表示复杂的概率分布,有效地(近似)计算边缘分布和条件分布,方便地学习概率模型中的参数和超参数.因此,它作为一种处理不确定性的形式化方法,被广泛应用于需要进行自动的概率推理的场合,例如计算机视觉、自然语言处理.回顾了有关概率图模型的表示、推理和学习的基本概念和主要结果,并详细介绍了这些方法在两种重要的概率模型中的应用.还回顾了在加速经典近似推理算法方面的新进展.最后讨论了相关方向的研究前景.     

异构信息网络上基于图正则化的半监督学习

现实世界中存在着大量包含多种类型的对象和联系的异构信息网络,从中挖掘信息获取知识已成为当前的研究热点之一.基于图正则化的半监督学习在近年来得到了广泛的研究,然而,现有的半监督学习算法大都只能应用于同构网络.基于同构节点和异构节点的一致性假设,提出了任意结构的异构信息网络上的半监督学习的正则化分类函数,并得到分类函数的闭式解,以此预测未标记节点的类别.提出了异构信息网络上的半监督学习的迭代框架,标记节点的信息可以在邻近的节点上迭代传播,直至达到稳定状态,并证明了迭代算法将收敛于正则化分类函数的闭式解.DBLP数据集上的实验表明该方法优于经典的半监督学习算法.     

概率逻辑可能世界的Petri网模型

本文研究概率逻辑中推导可能世界的Ｐｅｒｔｉ模型，该模型为可能世界的产生提供有效算法，这个算法被证明是正确的，它可以产生所有的一致的可能世界，文章中还分析了算法的复杂性，通过同其它方法的比较可知：此Ｐｅｔｒｉ网模型是概率逻辑可能世界推导的简单、实用和图形化的工具。     

异构信息网络的分类研究

异构信息网络在生活中无处不在,并且逐渐起着非常重要的作用。如何在信息网络里分类这些节点,对节点进行排名,已成为研究的热点问题。结合排名和分类方法,提出一种新的基于排名的迭代分类框架,建立一个基于图形的排名模型,使计算的排名分布在每一类的对象中。在每次迭代中,根据当前的排序结果,排名算法中使用图形结构的调整,使子网对应于特定的类被强调,而网络的其余部分被削弱。实验证明,整合分类排名不仅产生更准确的数据分类方法,而且在每一类中,能提供有意义的对象排名,比传统分类更有效。     

概率图模型学习技术研究进展

概率图模型能有效处理不确定性推理,从样本数据中准确高效地学习概率图模型是其在实际应用中的关键问题.概率图模型的表示由参数和结构两部分组成,其学习算法也相应分为参数学习与结构学习.本文详细介绍了基于概率图模型网络的参数学习与结构学习算法,并根据数据集是否完备而分别讨论各种情况下的参数学习算法,还针对结构学习算法特点的不同把结构学习算法归纳为基于约束的学习、基于评分搜索的学习、混合学习、动态规划结构学习、模型平均结构学习和不完备数据集的结构学习.并总结了马尔科夫网络的参数学习与结构学习算法.最后指出了概率图模型学习的开放性问题以及进一步的研究方向.     

融合文本主题的异构网络学术刊物推荐方法

学术大数据的高速膨胀为学术工作者高效选择有效学术信息带来了巨大挑战,运用学术刊物推荐以应对学术信息过载是主流方式之一。此研究专门解决如何为论文手稿高效推荐合适投稿期刊这一问题。引入学术异构信息网络,融合论文文本主题信息,提出一种新的学术刊物推荐方法（SCVR）。借助主题模型建模论文摘要和标题等文本内容提取主题信息,指导不同类型节点映射到多主题特征空间;将元路径上下文信息聚合到目标节点,形成了多跳元路径下节点的多主题表示;将不同元路径下形成的节点向量进行融合,实现每个节点多元元路径下的多主题表示。SCVR利用节点文本内容和网络结构学习节点多主题表示,完成学术刊物推荐。在两个真实学术数据集上的测试发现,提出了一种基于异构信息网络且融合文本主题信息的学术刊物推荐方法,在相同条件下,SCVR的推荐效果比仅基于异构信息网络的推荐结果在Precision和NDCG上平均提高了2.7%,且比经典学术刊物推荐方法平均高了19%,说明SCVR在学术刊物推荐领域有更优良的性能。     

基于异构信息网络的混合推荐模型

个性化推荐平台具有数据来源广泛且数据类型丰富的特点,而其中的数据稀疏是影响推荐系统性能的重要原因.如何挖掘推荐平台结构化数据和非结构化数据以发现更多特征,在数据稀疏场景中提高推荐的准确率,缓解冷启动问题,并且使得推荐具有可解释性,是推荐系统面临的重大挑战.因此,针对为User推荐Item的个性化场景,利用异构信息网络(...     

融合异构图注意力网络的知识推荐

为解决在线课程平台直接推荐服务忽视用户知识水平差异的问题,本文提出一种知识推荐方法。通过应用异构信息网络和注意力机制,将知识推荐问题视为强化学习任务,模拟用户与知识概念之间的互动,并利用异构信息网络学习用户的语义表示,通过元路径引导用户偏好的传播。实验结果表明,相较于其他方法,该方法在性能上表现得更为优越。     

概率图模型及其图像与视频应用研究

概率图模型及其应用作为一个具有挑战性的研究领域目前已成为一个新的研究热点。概率图模型为解决智能信息领域的不确定性问题提供了重要途径。尽管目前概率图模型还处于不断发展之中,但近年来基于概率图模型的图像和视频智能信息处理的应用研究受到人们的关注,出现了许多有效的算法,这些算法为解决一些传统的图像和视频智能信息处理问题提供了新的途径。本文首先对概率图模型的3种重要表现形式、特性和主要技术进行了分析和讨论,在此基础上,以概率图模型在图像和视频中的应用为线索,对目前基于概率图模型的图像和视频智能信息处理的主要技术进行了概述和比较研究;最后对概率图模型所存在的一些问题及进一步的发展进行了展望。     

概率图模型表示理论

概率图模型结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布。近年它已成为不确定性推理的研究热点,在人工智能、机器学习和计算机视觉等领域有广阔的应用前景。主要研究概率图模型的表示方法,讨论如何利用概率网络中的独立性来简化联合概率分布的方法表示。首先介绍了单个节点上的条件概率分布的表示模型及其引起的独立性,包括表格CPD、确定性CPD、特定上下文CPD、因果影响CPD、高斯模型和混合模型,并把单个分布模型推广到指数分布族中。然后详细介绍贝叶斯网络中的独立性以及图与概率分布的关系,讨论了高斯分布和指数分布族的贝叶斯网络表示理论。再详细描述马尔可夫网络的参数化问题及其独立性,也讨论高斯分布和指数分布族的马尔可夫网络表示理论。还给出两种局部有向图模型:条件随机场和链图。并且描述基于模板的概率模型表示,包括动态贝叶斯网络和状态观测模型这两种暂态模型,以及盘模型和概率关系模型这两种对象关系领域的有向概率模型,而且给出对象关系领域的无向表示。最后对概率图模型表示理论和方法所面临的问题及前景进行展望。     

基于异质信息网络的推荐模型

为了解决推荐系统的冷启动和稀疏性问题, 本文提出了一种基于异质信息网络的推荐模型. 传统的推荐方法无法在知识图谱表示学习中融入隐含的路径信息, 这样使得知识推荐系统性能较为一般. 本文提出的模型在异质信息网络中设置元路径, 通过图神经网络融入到知识图谱表示学习中. 再利用注意力网络连接推荐任务和知识图谱表示任务, 其可以学习两个任务之中潜在的特征, 并且能够增强推荐系统中被推荐项和知识图谱中实体的相互作用. 最后在推荐任务中进行用户点击率预测. 模型在公开数据集Book-Crossing和通过DBLP数据集构建的图谱上进行了实验. 最后结果表明, 模型在AUC, 召回率和F1值3个指标上均比其他算法有更好的表现.     

基于深度学习框架的隐藏主题变量图模型

隐藏主题变量图模型是一种用节点表示潜在主题或者潜在主题变化的概率图模型.针对当前隐藏主题变量图模型只能提取单层主题节点的缺陷,提出一种基于深度学习框架的提取多层主题节点的概率图模型.该模型在隐藏主题变量图模型的底层增加预处理结构层,即引入自组织映射层,可以有效地提取不同层次的主题状态.另外,隐藏主题变量图模型使用了隐马尔可夫网络和条件随机场的相结合的模型.针对条件随机场,提出了一阶逻辑子句定义的特征函数.弥补了长距离依存特性的缺失.在此基础上提出了一种分层次提取主题状态的新深度学习算法.在国际通用的亚马逊情感分析数据、Tripadvisor情感分析数据上的实验表明,新算法可以提升情感分析的准确率.同时实验结果也表明,提取多层主题状态可以更好地挖掘宏观主题分布信息和评论的局部主题信息.     

基于概率图模型的人脸多特征跟踪

同时跟踪具有丰富表情的人脸多个特征是一个有挑战性的问题．提出了一个基于时空概率图模型的方法．在时间域上,使用几个相互独立的Condensation类型的粒子滤波器分别跟踪人脸的每个特征．粒子滤波对独立的视觉跟踪问题非常有效,但是多个独立的跟踪器忽视了人脸的空间约束和人脸特征间的自然相互联系;在空间域上,事先从人脸表情库中学习人脸特征轮廓的相互关系,使用贝叶斯推理一信任度传播算法来对人脸特征的轮廓位置进行求精．实验结果表明,文中算法可以在帧间运动较大的情况下,鲁棒地同时跟踪人脸多个特征．     

Learning to Generate Posters of Scientific Papers by Probabilistic Graphical Models

Researchers often summarize their work in the form of scientific posters. Posters provide a coherent and efficient way to convey core ideas expressed in scientific papers. Generating a good scientific poster, however, is a complex and time-consuming cognitive task, since such posters need to be readable, informative, and visually aesthetic. In this paper, for the first time, we study the challenging problem of learning to generate posters from scientific papers. To this end, a data-driven framework, which utilizes graphical models, is proposed. Specifically, given content to display, the key elements of a good poster, including attributes of each panel and arrangements of graphical elements, are learned and inferred from data. During the inference stage, the maximum a posterior (MAP) estimation framework is employed to incorporate some design principles. In order to bridge the gap between panel attributes and the composition within each panel, we also propose a recursive page splitting algorithm to generate the panel layout for a poster. To learn and validate our model, we collect and release a new benchmark dataset, called NJU-Fudan Paper-Poster dataset, which consists of scientific papers and corresponding posters with exhaustively labelled panels and attributes. Qualitative and quantitative results indicate the effectiveness of our approach.

     

支持短时交通流量预测的概率图模型构建与推理

短时交通流量预测,是交通系统信息化和智能化交通运输管理技术领域研究的关键问题.目前的方法对历史数据具有较高的依赖程度,或者具有较高的计算成本,或者不能有效反映实际中较复杂的交通网络及各结点之间的相互关系、以及依赖的不确定性,或者多种模型的组合使得预测方法较复杂.贝叶斯网是一种重要的概率图模型,本文以交通网络结构为基础,利用概率图模型在不确定性知识表示和推理方面的良好性质,考虑路口交通流量及其预测的时序依赖特征,构建了带有时序条件依赖关系的交通贝叶斯网.进而针对短时交通流量预测的实时性和高效性要求,提出了基于Gibbs采样的交通贝叶斯网近似概率推理算法,并进行交通流量的短时预测.实验结果表明,本文提出的交通贝叶斯网构建、近似推理以及相应的短时交通流量的预测方法,具有高效性、准确性和可用性.     

一种基于3因素概率图模型的长尾推荐方法

互联网时代,数据呈爆炸式增长,前所未有的数据量远远超过受众的接收和处理能力,因此,从海量复杂数据中有效获取关键性有用信息成为必须解决的问题.面对信息过载问题,人们迫切需要一种高效的信息过滤系统,“推荐系统”应运而生.在现实的推荐场景中,用户给予项目的评分或者选择项目的频次是一个典型的长尾现象.事实上,长尾现象的深入分析,不仅有助于挖掘用户的个性化偏好,更有助于电商场景中相关利益主体的业绩提升.因此,长尾推荐研究日益受到重视.针对长尾推荐的可解释性问题,提出了基于3因素概率图模型的长尾推荐方法.面对长尾推荐过程中推荐系统、用户对“具有可解释性的长尾项目推荐”的现实需求,着眼于概率图模型在因果关系方面的可解释性优势,立足于“新颖性+准确性”综合考量的方法设计目标,建立了基于用户活跃度、项目非流行度和用户-项目偏好水平的3因素概率图推荐方法.实验比较结果表明,具有可解释性优势的3因素概率图推荐方法在保证一定预测精度的前提下具有更好的新颖性推荐效果.     

复小波域混合概率图模型的超声医学图像分割

针对存在大量不规则斑点噪声、目标边缘弱化的超声医学图像分割中较难识别目标的问题, 提出了一种复小波域中混合概率图模型的超声医学图像分割算法.采用具有近似平移不变性和良好方向选择性的双树复小波变换(Dual tree-complex wavelet transform, DT-CWT)提取超声医学图像6个方向的高频特征信息; 其次, 为关联目标的弱特征信息并抑制统计独立的高频噪声, 构建了复小波域混合概率图模型; 尺度间"父—子"节点间标记采用贝叶斯网络进行建模, 尺度内邻域间标记采用马尔科夫随机场(Markov random field, MRF)无向图建模, 对复小波域中同尺度的特征系数采用高斯混合模型建模, 尺度内同标记的观测特征采用高斯模型建模; 最后, 用迭代条件模式(Iterated conditional mode, ICM)实现MRF中误分割率最小的能量函数最优解, 获取标记场, 实现超声医学图像分割.实验结果从视觉效果和定量分析两方面验证表明, 本文算法能有效地提取超声图像的弱目标信息, 较好地定位目标区域, 具有较高的分割精度和鲁棒性.     

多元图融合的异构信息网嵌入

基于元结构(如元路径或元图)的网络嵌入方法,能够有效地利用异构网络结构.但与元路径相比,元图能够捕获更加复杂的结构信息,更能提升异构信息网中相似节点匹配的准确性.然而,现有的基于元图的嵌入方法具有如下局限：大多由专家指定元图类型,在大型复杂网络的应用环境中并不适用;虽然融合了多个元图进行嵌入,但并未考虑元图权重的差异性;部分模型利用用户的期望语义关系生成可以保留特定语义的元图组合,但这类模型过分依赖元图选择和用于监督学习的样本,缺乏通用性.基于此,提出一种多元图融合的异构网络嵌入方法,该方法包括2部分：第1部分是元图发现,目的是挖掘代表当前网络结构和语义特征的重要元图;第2部分是基于多元图融合的节点嵌入,主要内容是提出了一种基于元图的通用节点相似度度量方法,同时利用神经网络嵌入节点的元图特征.实验结果表明,与其他网络嵌入方法相比,提出的方法具有较高的准确性和效率.