多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明, ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

基于《本草纲目》的多模态知识图谱的构建研究

本文在大数据背景下,对篇目庞大的《本草纲目》运用知识图谱技术,通过实体抽取、关系抽取、人工修注等方法,得到其中的关键知识、联系与特点,通过模糊查询、人工审核的方式获得相关实体图片。以多模态数据融合的方式将《本草纲目》可视化展示,构建了多模态、结构化的《本草纲目》知识图谱,包含了4676张图片、10799个实体和14686条关系。对其中的中医学、中药学知识重新构建检索思路,试图发现其新的规律,为《本草纲目》的研究提供一种思路。     

多模态知识图谱构建与应用研究综述

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路.还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接.此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理.最后,从四个方面展望了多模态知识图谱的发展前景.     

高校人工智能课程多模态知识图谱构建及可视化

人工智能课程在教学过程面临着知识概念多、理论抽象等问题,不利于学生理解相关知识点。文章采用机器学习方法,通过数据收集与实体关系分类体系构建、实体关系抽取、多模态资源链接3个步骤自动构建了人工智能课程多模态知识图谱,并对其进行了可视化展示。     

基于LEBERT的多模态领域知识图谱构建

多模态知识图谱(multi-modal knowledge graph, MMKG)是近几年新兴的人工智能领域研究热点.本文提供了一种多模态领域知识图谱的构建方法,以解决计算机学科领域知识体系庞大分散的问题.首先,通过爬取计算机学科的相关多模态数据,构建了一个系统化的多模态知识图谱.但构建多模态知识图谱需要耗费大量的人力物力,本文训练了基于LEBERT模型和关系抽取规则的实体-关系联合抽取模型,最终实现了一个能够自动抽取关系三元组的多模态计算机学科领域知识图谱.     

大数据时代AIGC与多模态知识图谱的思考与展望

现今，随着大数据及人工智能技术的不断进步，AIGC（生成式AI）技术和多模态知识图谱技术在不同领域中的应用也得到了广泛关注。AIGC技术通过对人工智能算法的发展和优化，实现了从经验和数据中自我学习及自我完善的能力，从而在自然语言处理、图像识别、语音识别等领域实现了重要突破。而多模态知识图谱技术则是将多种类型的知识进行组合，结合自然语言理解、计算机视觉、语音识别等技术，形成一个全面且可扩展的领域知识图谱，提高了人机交互的效率和准确性。本文分别从大数据时代AIGC的发展历程、基础原理、应用情况等五个方面进行探讨，然后围绕AIGC技术与多模态知识图谱技术的关系及未来发展趋势进行阐述，为两者的发展提供一些有益的思路。     

多模态知识图谱的3D场景识别与表达方法综述

综述了多模态知识图谱技术在场景识别方面的应用。该技术将不同层次的3D专业知识结合到深度神经网络中,实现场景认知和知识表达。从知识的存储、获取和归纳三个层面,系统阐述了该技术的相关内容。贡献在于：全面综述了外置特征数据库快速构建3D场景图的现有技术;深入探讨了处理三维点云和视频的深度学习方法,并对此领域的未来研究方向做出分析。该研究对人工智能领域具有重要意义,为相关领域的进一步研究提供了有益的参考。为加强多模态知识图谱与其他人工智能技术（如自然语言处理、计算机视觉等）之间的融合,实现更加智能化、自动化、人性化的应用做出贡献。     

融合知识图谱和多模态的文本分类研究

传统文本分类方法主要是基于单模态数据所驱动的经验主义统计学习方法,缺乏对数据的理解能力,鲁棒性较差,单个模态的模型输入也难以有效分析互联网中越来越丰富的多模态化数据。针对此问题提出两种提高分类能力的方法：引入多模态信息到模型输入,旨在弥补单模态信息的局限性;引入知识图谱实体信息到模型输入,旨在丰富文本的语义信息,提高模型的泛化能力。模型使用BERT提取文本特征,改进的ResNet提取图像特征,TransE提取文本实体特征,通过前期融合方式输入到BERT模型中进行分类,在研究多标签分类问题的MM-IMDB数据集上F1值达到66.5%,在情感分析数据集Twitter15&17上ACC值达到71.1%,结果均优于其他模型。实验结果表明,引入多模态信息和实体信息能够提高模型的文本分类能力。     

一种元路径下基于频繁模式的实体集扩展方法

实体集扩展是指,已知某个特定类别的几个种子实体,根据一定的规则得到该类别的更多的实体.作为一种经典的数据挖掘任务,实体集扩展已经有很多的应用,诸如字典建立、查询建议等.现有的实体集扩展主要是基于文本或网页信息,即实体之间的关系从其在文本或者网页中的共现来推断.随着知识图谱研究的兴起,根据知识图谱中知识的共现来研究实体集扩展也成为了一种可能.本文主要研究知识图谱中的实体集扩展问题,即给定几个种子实体,利用知识图谱来得到更多的同类别的实体.我们首先把知识图谱建模成一个异质信息网络,即含有多种实体类型或者关系类型的网络,提出了一种新的元路径下基于频繁模式的实体集扩展方法,称为FPMP_ESE.FPMP_ESE采用异质信息网络中的元路径来捕捉种子实体之间的潜在共同特征.,为了找到种子实体之间的重要的元路径,我们设计了一种新的基于频繁模式的元路径自动产生算法FPMPG.之后,为了更好地给每条元路径分配相应的权重,我们设计了启发式的方法和PU learning的方法.最后,在真实数据集Yago上的实验,验证了提出方法较其他方法在实体集扩展任务上具有更好地性能以及更高地效率.     

融合多特征的中文集成实体链接方法

实体链接技术是将文本中的实体指称项正确链接到知识库中实体对象的过程，对知识库扩容起着关键作用。针对传统的实体链接方法主要利用上下文相似度等表层特征，而且忽略共现实体间的语义相关性，提出一种融合多特征的集成实体链接方法。首先结合同义词表、同名词表产生候选实体集，然后从多角度抽取语义特征，并将语义特征融合到构建的实体相关图中，最后对候选实体排序，选取top1实体作为链接目标。在NLP&CC2013中文微博实体链接评测数据集上进行实验，获得90.97%的准确率，与NLP&CC2013中文微博实体链接评测的最优系统相比，本文系统具有一定的优势。     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

实体搜索综述

与传统的以网页页面集合的方式呈现搜索结果不同,实体搜索的结果是实体或实体集合,其优点是无需用户在纷杂的网页里面进行二次查找,更能提升用户的搜索体验.实体搜索的任务可以分为相关实体搜索和相似实体搜索.本文对近年来这两类任务的实体搜索技术进行综述.首先给出了实体搜索的形式化的定义,并介绍了常用的评测指标;然后对两种不同形式的实体搜索任务在两类数据源(非结构化数据集和结构化数据集)上的主要研究方法进行详细阐述和对比;最后对未来的研究内容和发展方向进行了探讨和展望.     

基于图排序和最大信息增益的领域实体抽取方法

领域知识图谱在各行各业中都发挥着重要作用,领域实体的获取则是构建领域知识图谱的重要基础。数据标注、编写抽取规则等现有的实体抽取方法往往需要较多的人工参与工作。提出一种基于图排序的实体抽取方法和基于最大信息增益的实体扩展方法来构建领域实体集,通过实体识别获得候选实体,基于维基百科的背景信息计算候选实体间的相关度构建实体图,并利用基于置信度传播的图排序算法筛选领域核心实体。在DBpedia中根据最大信息增益来平衡类与领域核心实体相关性及类的抽象程度两个因素以生成实体扩展的共性类。在此基础上,通过SKOS体系中的“Is subject of”关系获得共性类的实例实体,并根据基于字符串相似和结构相关度的方法对扩展实例实体进一步筛选,最终获得全面、准确的领域实体集。以数据结构课程为例构建该课程领域实体集,得到1 115个实体。实验结果表明,在领域数据集上,领域实体抽取F1值达到0.67,能够在较少人工参与的条件下有效获得领域实体,有助于领域知识图谱的构建。     

基于领域知识图谱的短文本实体链接

实体链接任务是识别文本中潜在的实体指称,并将其链接到给定知识库中无歧义的实体上。在绝大多数情况下,实体链接可能存在中文短文本缺乏有效上下文信息,导致存在一词多义的歧义现象;同时候选链接过程中,候选实体的不确定相关性也影响候选实体链接精确性。针对上述两个问题,提出深度神经网络与关联图相结合的实体链接模型。模型添加字符特征、上下文、信息深层语义来增强指称和实体表示,并进行相似度匹配。利用Fast-newman算法将图谱知识库聚类划分不同类型实体簇,将相似度计算得分最高候选实体所属实体簇映射到关系平面,构建聚类实体关联图。利用偏向随机游走算法考查候选实体之间语义相关度,计算指称与候选实体的匹配程度,输入链接实体。该模型可以实现短文本到知识图谱目标实体的准确链接。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

面向实体链接的多特征图模型实体消歧方法*

实体链接技术是将文本中的实体指称表述项正确链接到知识库中实体的过程。其中,命名实体消歧的准确性直接影响实体链接的准确性。针对中文实体链接中命名实体的消歧,提出一种融合多种特征的解决方案。首先,以中文维基百科为知识库支撑,从实体指称表述项的上下文和候选实体在维基百科的内容描述两个方面,抽取多种语义特征并计算语义相似度;然后将语义相似度融合到构建的图模型中,基于PageRank算法计算该图模型的最终平稳分布;最后对候选实体排序,选取Top1实体作为消歧后的实体链接结果。实验通过与仅仅围绕名称表述特征进行消歧的基线系统相比,F值提升了9%,并且高于其他实体链接技术实验的F值,表明该方法在解决中文实体链接技术的命名实体消歧问题上,取得了较好的整体效果。