DB4Trans:数据库内置知识图谱嵌入模型训练引擎

知识图谱嵌入技术将知识图谱中的实体和关系嵌入到连续的向量空间中,在简化图谱操作的同时保留知识图谱的固有结构,并有助于完成诸如图谱补全、链接预测等下游任务.随着基于知识的人工智能的日益普及和应用,知识图谱的数据规模正在急剧增加.然而,大部分的知识图谱嵌入工作主要关注模型训练的结果,忽略了对于数据规模的可扩展性,在处理大规模知识图谱时表现出较差的性能.近年来的一些研究工作将数据库技术应用于机器学习算法的优化,同时提供了用于数据库内机器学习的各类工具.通过将知识图谱嵌入模型与数据库在数据管理上的优势进行有效的结合,能够在保证知识图谱嵌入模型训练的准确率和效率的同时,提供更好的可扩展性以支持大规模知识图谱数据的训练.基于此,本文提出一种数据库内置知识图谱嵌入模型训练引擎DB4Trans.首先,设计了一种用于知识图谱嵌入模型训练的数据存储方案,对实体和关系进行编码并建立索引结构,以实现模型训练过程中对中间结果的快速访问和更新;其次,提出了一种数据库内置的模型训练优化算法,对数据库与内存间的数据批量交换方案进行设计以支持大规模数据的训练与存储;最后,在不同数据集上进行了测试,比较了模型训练与预测的...     

细粒度苹果病虫害知识图谱构建研究

鉴于现有农业知识图谱对病虫害防治相关实体、关系刻画不够细致的问题,以苹果病虫害知识图谱构建为例,研究细粒度农业知识图谱的构建方法。对苹果病虫害知识的实体类型和关系种类进行细粒度定义,共划分出19种实体类别和22种实体关系,以此为基础标注并构建了苹果病虫害知识图谱数据集AppleKG。使用APD-CA模型对苹果病虫害领域命名实体进行识别,使用ED-ARE模型对实体关系进行抽取。实验结果表明,该文模型在命名实体识别和关系抽取两项子任务中的F1值分别达到了93.08%和94.73%。使用Neo4j数据库对知识图谱进行了存储和可视化,并就细粒度苹果病虫害知识图谱可以为精准病虫害信息查询、智能辅助诊断等下游任务提供底层技术支撑进行了讨论。     

一种融合关系路径与实体描述信息的知识图谱表示学习方法

知识图谱表示学习旨在通过学习的方法将知识图谱中的实体和关系映射到一个连续的低维向量空间而获得其向量表示.已有的知识图谱表示学习方法大多仅从三元组角度考虑实体间的单步关系,未能有效利用多步关系路径及其实体描述等重要信息,从而影响性能.针对上述问题,提出了一种融合关系路径与实体描述的知识图谱表示学习模型.首先,对知识图谱中的多步关系路径进行联合表示,将路径上的所有关系和实体相加,得到关系路径信息的表示;其次,使用BERT(bidirectional encoder representations from transformers)模型对实体描述信息进行编码,得到相对应的语义表示;最后,对知识图谱中的三元组表示、实体描述的语义表示以及关系路径的表示进行融合训练,得到融合向量表示.在FB15K,WN18,FB15K-237,WN18RR数据集上,对提出的模型和基准模型进行链接预测和三元组分类任务,实验结果表明,与现有的基准模型相比,该模型在2项任务中均具有更高的准确性,证明了方法的有效性和优越性.     

TransRD: 一种不对等特征的知识图谱嵌入表示模型

知识图谱嵌入是一种将实体和关系映射到低维向量空间的技术。目前已有的嵌入表示方法在对具有不对等特征的知识图谱中的实体和关系建模时存在两大缺陷: 一是假定头尾实体来自同一语义空间,忽略二者在链接结构和数量上的不对等;二是每个关系单独配置一个投影矩阵,忽略关系之间的内在联系,导致知识共享困难,泛化能力差。该文提出一种新的嵌入表示方法TransRD,首先对头尾实体采用不对等转换矩阵进行投影,并用ADADELTA算法自适应调整学习率;其次对关系按相关性分组,每组关系使用同一对投影矩阵的方式来共享公共信息,解决泛化能力差的问题。在公开的数据集WN18和FB15K以及MPBC_20(乳腺癌知识图谱的子集)上进行实验和结果分析并与现有的模型进行对比,结果表明TransRD在各项指标上均取得大幅提升。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

面向知识图谱的位置敏感嵌入模型

知识图谱嵌入将离散的符号化实体和关系映射到连续的低维空间中,使后续的任务(如推理、图谱补全等)可以通过代数运算的方式进行.大体而言,知识图谱嵌入可以分成2类主流方法:平移距离模型和语义匹配模型.从知识图谱的图结构出发,可以分析平移距离模型的学习瓶颈,进而得出结论,即平移距离模型的缺点是没有区别对待实体在头部和尾部2个位...     

基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

结合多重嵌入表示的中文知识图谱补全

近年来，随着知识图谱相关技术的不断发展，各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界，同时在知识正确性以及时效性等方面存在问题，这使得知识图谱补全越来越受到研究者的关注。在中文环境下，知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析，将中文图谱中出现的错误进行了归类。根据该分析结果，该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性，该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较，实验结果表明该文所提方法是有效的。     

面向司法案件的案情知识图谱自动构建

以法学知识为中心的认知智能是当前司法人工智能发展的重要方向。该文提出了以自然语言处理(NLP)为核心技术的司法案件案情知识图谱自动构建技术。以预训练模型为基础,对涉及的实体识别和关系抽取这两个NLP基本任务进行了模型研究与设计。针对实体识别任务,对比研究了两种基于预训练的实体识别模型;针对关系抽取任务,该文提出融合平移嵌入的多任务联合的语义关系抽取模型,同时获得了结合上下文的案情知识表示学习。在“机动车交通事故责任纠纷”案由下,和基准模型相比,实体识别的F₁值可提升0.36,关系抽取的F₁值提升高达2.37。以此为基础,该文设计了司法案件的案情知识图谱自动构建流程,实现了对数十万份判决书案情知识图谱的自动构建,为类案精准推送等司法人工智能应用提供语义支撑。     

基于强化学习的知识图谱综述

知识图谱是一种用图结构建模事物及事物间联系的数据表示形式,是实现认知智能的重要基础,得到了学术界和工业界的广泛关注.知识图谱的研究内容主要包括知识表示、知识抽取、知识融合、知识推理4部分.目前,知识图谱的研究还存在一些挑战.例如,知识抽取面临标注数据获取困难而远程监督训练样本存在噪声问题,知识推理的可解释性和可信赖性有待进一步提升,知识表示方法依赖人工定义的规则或先验知识,知识融合方法未能充分建模实体之间的相互依赖关系等问题.由环境驱动的强化学习算法适用于贯序决策问题.通过将知识图谱的研究问题建模成路径(序列)问题,应用强化学习方法,可解决知识图谱中的存在的上述相关问题,具有重要应用价值.首先梳理了知识图谱和强化学习的基础知识.其次,对基于强化学习的知识图谱相关研究进行全面综述.再次,介绍基于强化学习的知识图谱方法如何应用于智能推荐、对话系统、游戏攻略、生物医药、金融、安全等实际领域.最后,对知识图谱与强化学习相结合的未来发展方向进行展望.     

知识赋能的新一代信息系统研究现状、发展与挑战

信息系统的发展目前正处于感知智能迈向认知智能的关键阶段,传统信息系统难以满足发展要求,数字化转型势在必行.数字线索(digitalthread)是面向全生命周期的数据处理框架,通过连接生命周期的各阶段数据,实现物理世界与数字空间的映射与分析.知识图谱(knowledgegraph)是结构化的语义知识库,以符号形式描述物理世界中的概念及其相互关系,通过知识驱动形成体系化的构建与推理流程.两者对知识赋能的信息系统研究具有重要意义.综述了知识赋能的新一代信息系统的研究现状、发展与挑战.首先,从数字线索系统出发,介绍数字线索的概念和发展,分析数字线索的六维数据构成和6个数据处理阶段;然后介绍知识图谱系统,给出普遍认同的知识图谱的定义和发展,概括知识图谱的架构与方法;最后,分析和探索数字线索与知识图谱结合的方向,列举KG4DT (knowledge graph for digital thread)和DT4KG (digital thread for knowledge graph)的受益方向,对未来知识赋能的新一代信息系统提出开放问题.     

知识图谱综述——表示、构建、推理与知识超图理论

针对知识图谱（KG）在知识驱动的人工智能研究中发挥的强大支撑作用,分析并总结了现有知识图谱和知识超图技术。首先,从知识图谱的定义与发展历程出发,介绍了知识图谱的分类和架构;其次,对现有的知识表示与存储方式进行了阐述;然后,基于知识图谱的构建流程,分析了各类知识图谱构建技术的研究现状。特别是针对知识图谱中的知识推理这一重要环节,分析了基于逻辑规则、嵌入表示和神经网络的三类典型的知识推理方法。此外,以异构超图引出知识超图的研究进展,并提出三层架构的知识超图,从而更好地表示和提取超关系特征,实现对超关系数据的建模及快速的知识推理。最后,总结了知识图谱和知识超图的典型应用场景并对未来的研究作出了展望。     

EAE：一种酶知识图谱自适应嵌入表示方法

近年来,构建大规模知识图谱(knowledge graph, KG),并用其解决实际问题已经成为大趋势.KG的嵌入表示方便了机器学习在KG等关系数据上的应用,它可以促进知识分析、推理、融合、补全,甚至决策.最近,开放域知识图谱(open-domain knowledge graph, OKG)的构建和嵌入表示已经得到蓬勃发展,大大促进了开放域中大数据的智能化.与此同时,特定域知识图谱(specific-domain knowledge graph, SKG)也成为了特定领域中智能应用的重要资源.但是,SKG还不发达,其嵌入表示尚处于萌芽阶段.这主要是由于SKG与OKG的数据分布显著不同,更具体地说：1)在OKG中,如WordNet,Freebase,头/尾实体的稀疏度几乎相等;但是在Enzyme,NCI-PID等SKG中不均匀性更受欢迎,例如微生物领域的酶KG中尾实体是头实体的1000倍.2)头实体和尾实体可以在OKG中交换位置,但是它们在SKG中是非交换的,因为大多数关系是属性.例如实体“奥巴马”可以是头实体也可以是尾实体,但是头实体“酶”总是处于头位置.3)关系的广度在OKG中具有小的偏差,而SKG中很不平衡.例如一个酶实体甚至可以链接31809个“x-gene”实体.基于这些观察,提出了一个新方法EAE来处理这3个问题,并在链接预测和元组分类任务上评估了EAE方法.实验结果表明：EAE显著优于Trans(E,H,R,D和TransSparse),达到了最先进的性能.     

A framework for differentially-private knowledge graph embeddings

Knowledge graph (KG) embedding methods are at the basis of many KG-based data mining tasks, such as link prediction and node clustering. However, graphs may contain confidential information about people or organizations, which may be leaked via embeddings. Research recently studied how to apply differential privacy to a number of graphs (and KG) analyses, but embedding methods have not been considered so far. This study moves a step toward filling such a gap, by proposing the Differential Private Knowledge Graph Embedding (DPKGE) framework.DPKGE extends existing KG embedding methods (e.g., TransE, TransM, RESCAL, and DistMult) and processes KGs containing both confidential and unrestricted statements. The resulting embeddings protect the presence of any of the former statements in the embedding space using differential privacy. Our experiments identify the cases where DPKGE produces useful embeddings, by analyzing the training process and tasks executed on top of the resulting embeddings.     

Modeling the Correlations of Relations for Knowledge Graph Embedding

嵌入的知识图,印射实体和关系直到低维的向量空格,在象连接预言和关系抽取那样的许多任务表明了它的有效性。典型方法包括 TransE, TransH,和 TransR。所有这些方法独立印射不同关系直到向量空间并且这些关系的内在的关联被忽略。在那里存在,是明显的在关系之中的一些关联因为不同关系可以与一个普通实体连接。例如,三元组(史蒂夫工作, PlaceOfBrith,加利福尼亚) 并且(苹果公司,地点,加利福尼亚) 作为他们的尾巴实体分享一样的实体加利福尼亚。我们分析矩阵由 TransE/TransH/TransR 学习了的嵌入的关系,并且发现关系的关联确实存在,他们在嵌入的关系矩阵上作为低等级的结构被给看。问我们是否能利用这些关联在一张知识图为实体和关系学习更好的 embeddings 是自然的。在这份报纸,我们建议由作为二个低维的矩阵的一个产品分解它学习嵌入的关系矩阵,为描绘低等级的结构。建议方法,叫的 TransCoRe (经由为关系的关联建模的基于翻译的方法) ,与基于翻译的框架听说 embeddings 实体和关系。试验性的结果基于 WordNet 和 Freebase 的基准数据集证明我们的方法在连接预言和三倍的分类任务上超过典型基线。     

成果地质资料知识图谱构建与可视化

知识图谱技术在行业领域的运用越来越广,因此研究知识图谱技术在成果地质资料领域中的运用,解决到馆用户的精确查询和可视化问题变得更加重要.本文以成果地质资料为研究对象,利用爬虫技术,爬取成果地质资料中的矿产、地理区域、组织机构等实体信息.结合知识图谱相关技术,设计成果地质资料知识图谱地质实体和关系,经过命名实体识别、关系抽取和属性抽取,构建成果地质资料实体266 787个,关系306 686个.使用Neo4j图形化数据库存储知识图谱来提高地质资料的查询性能,方便到馆用户的查询.该研究可以为知识图谱在成果地质资料上面的应用提供理论支撑.     

基于知识协同微调的低资源知识图谱补全方法

知识图谱补全能让知识图谱变得更加完整.现有的知识图谱补全工作大多会假设知识图谱中的实体或关系有充足的三元组实例.然而,在通用领域,存在大量长尾三元组;在垂直领域,较难获得大量高质量的标注数据.本文针对这一问题,提出了一种基于知识协同微调的低资源知识图谱补全方法.本文通过已有的结构化知识来构造初始的知识图谱补全提示,并提出一种协同微调算法来学习最优的模板、标签和模型的参数.本文的方法同时利用了知识图谱中的显式结构化知识和语言模型中的隐式事实知识,且可以同时应用于链接预测和关系抽取两种任务.实验表明,本文的方法在3个知识图谱推理数据集和5个关系抽取数据集上都取得了目前最优的性能.     

知识图谱研究现状及军事应用

知识图谱以语义网络的形式将客观世界中概念、实体及其之间的关系进行结构化描述,提高了人类从数据中抽取信息、从信息中提炼知识的能力。该文形式化地描述了知识图谱的基本概念,提出了知识图谱的层次化体系架构,详细分析了信息抽取、知识融合、知识架构、知识管理等核心层次的技术发展现状,系统梳理了知识图谱在军事领域的应用,并对知识图谱未来发展的挑战和趋势进行了总结展望。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。