一种结合多尺度特征图和环型关系推理的场景图生成模型

场景图为描述图像内容的结构图(Graph),其在生成过程中存在两个问题:1)二步式场景图生成方法造成有益信息流失,使得任务难度提高;2)视觉关系长尾分布使得模型发生过拟合、关系推理错误率上升。针对这两个问题,文中提出结合多尺度特征图和环型关系推理的场景图生成模型SGiF(Scene Graph in Features)。首先,计算多尺度特征图上的每一特征点存在视觉关系的可能性,并将存在可能性高的特征点特征提取出来;然后,从被提取出的特征中解码得到主宾组合,根据解码结果的类别差异,对结果进行去重,以此得到场景图结构;最后,根据场景图结构检测包含目标关系边在内的环路,将环路上的其他边作为计算调整因子的输入,以该因子调整原关系推理结果,并最终完成场景图的生成。实验设置SGGen和PredCls作为验证项,在大型场景图生成数据集VG(Visual Genome)子集上的实验结果表明,通过使用多尺度特征图,相比二步式基线,SGiF的视觉关系检测命中率提升了7.1%,且通过使用环型关系推理,相比非环型关系推理基线,SGiF的关系推理命中率提升了2.18%,从而证明了SGiF的有效性。     

外部信息引导和残差置乱的场景图生成方法

场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一.但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响.对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据...     

基于多模态推理图神经网络的场景文本视觉问答模型

文本阅读能力差和视觉推理能力不足是现有视觉问答(visual question answering, VQA)模型效果不好的主要原因,针对以上问题,设计了一个基于图神经网络的多模态推理(multi-modal reasoning graph neural network, MRGNN)模型。利用图像中多种形式的信息帮助理解场景文本内容,将场景文本图片分别预处理成视觉对象图和文本图的形式,并且在问题自注意力模块下过滤多余的信息;使用加入注意力的聚合器完善子图之间相互的节点特征,从而融合不同模态之间的信息,更新后的节点利用不同模态的上下文信息为答疑模块提供了更好的功能。在ST-VQA和TextVQA数据集上验证了有效性,实验结果表明,相比较此任务的一些其他模型,MRGNN模型在此任务上有明显的提升。     

图注意力网络的场景图到图像生成模型

目的 目前文本到图像的生成模型仅在具有单个对象的图像数据集上表现良好，当一幅图像涉及多个对象和关系时，生成的图像就会变得混乱。已有的解决方案是将文本描述转换为更能表示图像中场景关系的场景图结构，然后利用场景图生成图像，但是现有的场景图到图像的生成模型最终生成的图像不够清晰，对象细节不足。为此，提出一种基于图注意力网络的场景图到图像的生成模型，生成更高质量的图像。方法 模型由提取场景图特征的图注意力网络、合成场景布局的对象布局网络、将场景布局转换为生成图像的级联细化网络以及提高生成图像质量的鉴别器网络组成。图注意力网络将得到的具有更强表达能力的输出对象特征向量传递给改进的对象布局网络，合成更接近真实标签的场景布局。同时，提出使用特征匹配的方式计算图像损失，使得最终生成图像与真实图像在语义上更加相似。结果 通过在包含多个对象的COCO-Stuff图像数据集中训练模型生成64×64像素的图像，本文模型可以生成包含多个对象和关系的复杂场景图像，且生成图像的Inception Score为7.8左右，与原有的场景图到图像生成模型相比提高了0.5。结论 本文提出的基于图注意力网络的场景图到图像生成模型不仅可以生成包含多个对象和关系的复杂场景图像，而且生成图像质量更高，细节更清晰。     

提取全局语义信息的场景图生成算法

目的 场景图能够简洁且结构化地描述图像。现有场景图生成方法重点关注图像的视觉特征,忽视了数据集中丰富的语义信息。同时,受到数据集长尾分布的影响,大多数方法不能很好地对出现概率较小的三元组进行推理,而是趋于得到高频三元组。另外,现有大多数方法都采用相同的网络结构来推理目标和关系类别,不具有针对性。为了解决上述问题,本文提出一种提取全局语义信息的场景图生成算法。方法 网络由语义编码、特征编码、目标推断以及关系推理等4个模块组成。语义编码模块从图像区域描述中提取语义信息并计算全局统计知识,融合得到鲁棒的全局语义信息来辅助不常见三元组的推理。目标编码模块提取图像的视觉特征。目标推断和关系推理模块采用不同的特征融合方法,分别利用门控图神经网络和门控循环单元进行特征学习。在此基础上,在全局统计知识的辅助下进行目标类别和关系类别推理。最后利用解析器构造场景图,进而结构化地描述图像。结果 在公开的视觉基因组数据集上与其他10种方法进行比较,分别实现关系分类、场景图元素分类和场景图生成这3个任务,在限制和不限制每对目标只有一种关系的条件下,平均召回率分别达到了44.2%和55.3%。在可视化实验中,相比...     

基于多尺度时空Transformer的视频动态场景图生成模型

为应对动态视频中物体间关系在时间维度上的动态变化,提出一种基于多尺度时空Transformer的视频动态场景图生成模型,在经典的Transformer架构基础上引入了多尺度建模思想,以实现对视频动态细粒度语义的精确建模。首先,在空间维度上保留了传统模型对物体在全局空间相关性的关注;同时还对物体间的相对位置进行了局部空间相关性建模,以便更好地理解人和物之间的交互动态,提供更准确的语义分析结果。其次,在时间维度上,除了保留传统模型对视频中物体短期时间相关性的关注外,还关注了同一对物体在完整视频中的长期时间相关性,通过更全面地建模物体之间的长期关系,生成更准确、连贯的场景图,在一定程度上缓解了由遮挡、重合等引起的场景图生成问题。最后,通过空间编码器与时间编码器的共同作用,更加精准地建模视频动态细粒度语义,克服了传统的单尺度模型的局限性。实验结果显示,在Action Genome基准数据集上,与基线模型STTran相比,在谓词分类、场景图分类与场景图检测三个任务的Recall@10指标上分别提升了5.0、2.8、2.9个百分点。实验结果表明,多尺度建模思想能够更加精确地建模,并有效地提高在视频...     

融合子图结构的神经推理式知识库问答方法

知识库(或知识图谱)作为一种对现实世界的有效表征模式,引起了学术界和工业界广泛关注.近年来,随着大规模知识库的出现,知识库问答技术作为知识库的基础应用技术同样备受关注.基于语义解析的代表方法通过对查询句的解析将问题转化为图上的答案检索,但知识库中往往存在缺失的链接,导致上述过程无法顺利开展;基于神经推理的代表模型通过对...     

MIKRS：用于知识库求精的模型推理系统

知识求精是知识获取的一个重要方面,本文主要介绍了知识库求精的一些概念、理论与方法,给出了在MIKRS系统中所实现的知识库调试和求精的思想及描述算法,并在文章的最后给出了系统运行的一个实例。     

基于图模型与注意力机制的室外场景点云分割模型

针对在多对象且空间拓扑关系复杂的室外场景环境中相似地类区分难的问题,提出一种结合图模型与注意力机制模块的A-Edge-SPG(Attention-EdgeConv SuperPoint Graph)图神经网络。首先,利用图割和几何特征结合的方法对超点进行分割;其次,在超点内部构造局部邻接图,从而在捕获场景中点云的上下文信息的同时利用注意力机制模块凸显关键信息;最后,构建超点图（SPG）模型,并采用门控循环单元（GRU）聚合超点和超边特征,实现对不同地类点云间的精确分割。在Semantic3D数据集上对A-Edge-SPG模型和SPG-Net(SPG neural Network)模型的语义分割效果进行比较分析。实验结果表明,相较于SPG模型,A-Edge-SPG模型在总体分割精度（OA）、平均交并比（mIoU）和平均精度均值（mAA）上分别提升了1.8、5.1和2.8个百分点,并且在高植被、矮植被等相似地类的分割精度上取得了明显的提升,改善了相似地类间语义分割的效果。     

一种残差置乱上下文信息的场景图生成方法

场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时减少数据集偏差的影响,提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成,利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响,利用残差连接提取共享的全局上下文信息.在位置嵌入模块中,通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中,证明了提出的RSSQ方法因全局上下文改善和空间关系增强,在Recall@50和Recall@100指标评价下,相对于现有方法能生成更好的场景图.     

基于Graph Transformer的知识库问题生成

知识库问答依靠知识库推断答案,需要大量带标注信息的问答对,但构建大规模且精准的数据集不仅代价昂贵,还受领域等因素限制.为缓解数据标注问题,面向知识库的问题生成任务引起了研究者关注,该任务的特点是利用知识库三元组自动生成问题,但现有方法仅由一个三元组生成的问题过于简短,且缺乏多样性.为生成信息量丰富且多样化的问题,该文采...     

时序知识图谱表示与推理的研究进展与趋势

知识图谱作为近年来人工智能领域的一大热点研究方向, 已应用于现实中多个领域. 但是随着知识图谱应用场景日益多样化, 人们逐渐发现不随着时间改变而更新的静态知识图谱不能完全适应知识高频更新的场景. 为此, 研究者们提出时序知识图谱的概念, 一种包含时间信息的知识图谱. 对现有所有时序知识图谱表示与推理模型进行整理, 并归纳和建立一个表示与推理模型理论框架. 然后基于此对当前时序表示推理研究进展进行简要介绍分析和未来趋势预测, 以期望帮助研究者开发设计出更为优异的模型.     

知识图谱中的语义推理算法

为了提高查询推理系统对高度动态和迅速扩张的知识图谱的适应性,向用户返回更加高效、实时、准确的结果,在对目前流行的知识图谱推理算法对比研究的基础上,提出一种基于语义张量的推理算法。通过筛选简化2个公开的网络规模的知识图谱,利用该算法进行训练测试。实验结果表明,该算法可提升效率,节省内存,提高推理精确度,能够适应高度动态化和不断演变的知识图谱数据信息,提高搜索引擎的智能化程度。     

基于双端知识图的图注意推荐模型

针对现有图神经网络在捕获知识图谱信息并进一步用于推荐时,侧重于项目端建模所存在的问题,提出一种基于双端知识图的图注意推荐模型。该模型通过从用户端和项目端在知识图谱上挖掘相关属性来有效增强推荐。从用户端角度,通过知识图谱中实体之间的联系传播用户兴趣,沿着知识图谱中用户的历史点击项来扩展用户的潜在兴趣;从项目端角度,通过捕获知识图谱中的高阶结构和语义信息,对每个实体的邻居抽样作为接收场,通过图注意获得实体-实体交互信息,以此建模高阶邻域信息,最后使用交叉熵损失函数进行训练。结果表明,所提模型在关于电影、书籍和音乐推荐的三个数据集上,有效提高了推荐的准确性和可解释性。     

基于知识图谱的在线商品问答研究

现阶段,针对商品的自动问答主要由意图识别和答案配置来实现,但问题答案的配置依赖人工且工作量巨大,容易造成答案质量不高。随着知识图谱技术的出现和发展,基于知识图谱的自动问答逐渐成为研究热点。目前,基于知识图谱的商品自动问答主要是通过规则解析的方法将文本形式问题解析为知识图谱查询语句来实现。虽然减少了人工配置工作,但其问答效果受限于规则的质量和数量,很难达到理想的效果。针对上述问题,该文提出一种基于知识图谱和规则推理的在线商品自动问答系统。主要贡献包括: ①构建一个基于LSTM的属性注意力网络SiameseATT(Siamese attention network)用于属性选择; ②引入了本体推理规则,通过规则推理使得知识图谱能动态生成大量三元组,使得同样数据下可以回答更多问题。在NIPCC-ICCPOL 2016 KBQA数据集上的实验显示,该系统具有很好的性能。相比一些更复杂的模型,该问答系统更适合电商的应用场景。     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

QA-KGNet: 一种语言模型驱动的知识图谱问答模型

基于知识图谱的问答系统可以解析用户问题,已成为一种检索知识、自动回答所询问题的有效途径.知识图谱问答系统通常是利用神经程序归纳模型,将自然语言问题转化为逻辑形式,在知识图谱上执行该逻辑形式能够得到答案.然而,使用预训练语言模型和知识图谱的知识问答系统包含两个挑战:(1)给定问答(questionanswering, QA)上下文,需要从大型知识图谱(knowledge graph, KG)中识别相关知识;(2)对QA上下文和KG进行联合推理.基于此,提出一种语言模型驱动的知识图谱问答推理模型QA-KGNet,将QA上下文和KG连接起来形成一个工作图,使用语言模型计算给定QA上下文节点与KG节点的关联度,并使用多头图注意力网络更新节点表示.在Commonsense QA、OpenBookQA和Med QA-USMLE真实数据集上进行实验来评估QA-KGNet的性能,实验结果表明:QA-KGNet优于现有的基准模型,表现出优越的结构化推理能力.     

ICAI系统中知识模型和推理

根据ICAI中知识的特点,文章提出了知识网络图和模糊规则图的知识表示形式,并且将模糊思想引入到ICAI系统中,以优化系统的推理机制,使系统的推理过程更接近人类的思维过程,推理的结果也更为合理、有效。