QA-KGNet: 一种语言模型驱动的知识图谱问答模型

基于知识图谱的问答系统可以解析用户问题,已成为一种检索知识、自动回答所询问题的有效途径.知识图谱问答系统通常是利用神经程序归纳模型,将自然语言问题转化为逻辑形式,在知识图谱上执行该逻辑形式能够得到答案.然而,使用预训练语言模型和知识图谱的知识问答系统包含两个挑战:(1)给定问答(questionanswering, QA)上下文,需要从大型知识图谱(knowledge graph, KG)中识别相关知识;(2)对QA上下文和KG进行联合推理.基于此,提出一种语言模型驱动的知识图谱问答推理模型QA-KGNet,将QA上下文和KG连接起来形成一个工作图,使用语言模型计算给定QA上下文节点与KG节点的关联度,并使用多头图注意力网络更新节点表示.在Commonsense QA、OpenBookQA和Med QA-USMLE真实数据集上进行实验来评估QA-KGNet的性能,实验结果表明:QA-KGNet优于现有的基准模型,表现出优越的结构化推理能力.     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

知识图谱嵌入技术研究综述

知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术.知识图谱嵌入(KGE)作为一种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的向量空间中,用来简化操作,同时保留KG的固有结构.可以使得多种下游任务受益,例如KG补全和关系提取等.首先对现有的知识图谱嵌入技术进行全面回顾,不仅包括使用KG中观察到的事实进行嵌入的技术,还包括添加时间维度的动态KG嵌入方法,以及融合多源信息的KG嵌入技术.对相关模型从实体嵌入、关系嵌入、评分函数等方面进行分析、对比与总结.然后简要介绍KG嵌入技术在下游任务中的典型应用,包括问答系统、推荐系统和关系提取等.最后阐述知识图谱嵌入面临的挑战,对未来的研究方向进行展望.     

基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.     

基于LEBERT的多模态领域知识图谱构建

多模态知识图谱(multi-modal knowledge graph, MMKG)是近几年新兴的人工智能领域研究热点. 本文提供了一种多模态领域知识图谱的构建方法, 以解决计算机学科领域知识体系庞大分散的问题. 首先, 通过爬取计算机学科的相关多模态数据, 构建了一个系统化的多模态知识图谱. 但构建多模态知识图谱需要耗费大量的人力物力, 本文训练了基于LEBERT模型和关系抽取规则的实体-关系联合抽取模型, 最终实现了一个能够自动抽取关系三元组的多模态计算机学科领域知识图谱.     

知识图谱赋能的知识工程:理论、技术与系统专题序言

<正>知识图谱是人工智能在知识工程理论和技术发展中的前沿。知识图谱方法、技术与应用在新一代人工智能由“感知智能”迈向“认知智能”的过程中扮演重要角色。近年来，随着大规模知识图谱的发布和知识图谱赋能系统的应用，国内外学术界和产业界均在多个维度对知识图谱赋能的知识工程进行了研究与开发。虽然国内外学者在知识图谱及相关方向上已取得若干研究成果，但知识图谱赋能的知识工程尚未形成成熟的理论体系、技术方法、应用与系统实践，仍有众多有待解决的具有挑战性的难题。本专题旨在促进知识图谱赋能的知识工程研究、开发与应用，及时、集中、全面地报道知识图谱赋能的知识工程在理论、方法、技术、系统与应用实践等方面的最新成果和进展。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

知识图谱补全技术研究综述

作为一种新兴的数据结构，知识图谱被广泛用于搜索引擎、推荐系统、对话系统等诸多领域中.知识图谱补全(knowledge graph completion)是通过不同的方法，对图谱中的三元组残缺项进行补充.本文以模型构造方法为视角，从Trans结构、神经网络和张量分解三类方法对已有知识图谱补全的相关技术研究进行深入探讨，分析了不同补全技术的优缺点.指出了Trans结构模型和张量分解模型适用于大规模的知识图谱补全，而神经网络模型适用于关系结构复杂的知识图谱补全；现有知识图谱补全技术存在关系复杂性高、语义信息难以获取、训练代价大、模型扩展性差等不足.从知识图谱中复杂关系处理、上下文语义获取、节点间长期依赖关系捕获、模型融合与可扩展性等方面来展望了知识图谱补全技术未来主要研究方向.     

四川省数字孪生流域知识图谱的设计与实现

知识图谱是数字孪生流域建设知识平台的重要组成部分,本研究以数字孪生流域建设而汇聚的数据底板为基础,依托自顶向下和自底向上相结合的方法,通过总体框架设计,基于BERT-BiLSTM-CRF命名实体识别、Transformer模型的关系抽取、Neo4j的存储和可视化展示完成知识图谱的搭建,并基于知识图谱建设性构建智能问答系统,为四川省数字孪生流域物理流域的全映射提供了支撑,实现了知识的可视化表达、精准查询与智能推荐,为四川省河湖智能管理提供知识性参考。     

基于知识图注意网络的个性化推荐算法

现有的大多数利用知识图谱的推荐算法在探索用户的潜在偏好时没有有效解决知识图谱中存在的不相关实体的问题,导致推荐结果准确率不高。针对这一问题,提出了基于知识图谱和图注意网络的推荐算法KG-GAT(knowledge graph and graph attention network)。该算法将知识图谱作为辅助信息,在图注意网络中使用分层注意力机制嵌入与实体相关的近邻实体的信息来重新定义实体的嵌入,得到更有效的用户和项目的潜在表示,生成更精确的top-N推荐列表,并带来了可解释性。最后利用两个公开数据集将所提算法和其他算法进行实验对比,得出所提算法KG-GAT能够有效解决沿着知识图谱中的关系探索用户的潜在偏好时存在的不相关实体的问题。     

知识图谱综述——表示、构建、推理与知识超图理论

针对知识图谱（KG）在知识驱动的人工智能研究中发挥的强大支撑作用,分析并总结了现有知识图谱和知识超图技术。首先,从知识图谱的定义与发展历程出发,介绍了知识图谱的分类和架构;其次,对现有的知识表示与存储方式进行了阐述;然后,基于知识图谱的构建流程,分析了各类知识图谱构建技术的研究现状。特别是针对知识图谱中的知识推理这一重要环节,分析了基于逻辑规则、嵌入表示和神经网络的三类典型的知识推理方法。此外,以异构超图引出知识超图的研究进展,并提出三层架构的知识超图,从而更好地表示和提取超关系特征,实现对超关系数据的建模及快速的知识推理。最后,总结了知识图谱和知识超图的典型应用场景并对未来的研究作出了展望。     

Knowledge graph and function block based Digital Twin modeling for robotic machining of large-scale components

Robotic machining is a potential method for machining large-scale components (LSCs) due to its low cost and high flexibility. However, the low stiffness of robots and complex machining process of LSCs result in a lack of alignment between the physical process and digital models, making it difficult to realize the robotic machining of LSCs. The recent Digital Twin (DT) concept shows potential in terms of representing and modeling physical processes. Therefore, this study proposes a robotic machining DT for LSCs. However, the current DT is not capable of knowledge representation, multi-source data integration, optimization algorithm implementation, and real-time control. To address these issues, Knowledge Graph (KG) and Function Block (FB) are employed in the proposed robotic machining DT. Here, robotic machining related information, such as the machining parameters and errors, is represented in the virtual space by building the KG, whereas the FBs are responsible for integrating and applying the algorithms for process execution and optimization based on real-world events. Moreover, a novel adaptive process adjustment strategy is proposed to improve the efficiency of the process execution. Finally, a prototype system of the robotic machining DT is developed and validated by an experiment on robotic milling of the assembly interface for an LSC. The results demonstrate that the robotic machining is successfully optimized and improved by the proposed method.     

自定义SWRL知识图谱推理补全插件的实现

知识图谱是人工智能应用的基石,基于规则进行推理是知识图谱知识补全的重要方式。SWRL推理插件的局限性成为了知识推理补全的瓶颈。打破了SWRL有限的推理能力,论述了在SWRL规则中编写自定义知识推理插件,并在知识图谱建模和推理工具中实现对自定义插件推理支持的方法。介绍了知识图谱知识建模和推理的方法与工具,结合一个具体的知识补全需求建模了包含自定义知识推理插件的SWRL推理规则;在Pellet推理机中实现和注入了此自定义推理插件的推理支持源码,并通过与Protégé知识建模工具进行集成从而完成知识补全需求;应用包含自定义插件的SWRL推理规则完成了老人健康小屋物联网系统资源组成和资源故障诊断的知识补全。以此论述了使用SWRL自定义知识推理插件进行知识图谱知识补全的方法和实践。     

Meta-path reasoning of knowledge graph for commonsense question answering

Commonsense question answering (CQA) requires understanding and reasoning over QA context and related commonsense knowledge, such as a structured Knowledge Graph (KG). Existing studies combine language models and graph neural networks to model inference. However, traditional knowledge graph are mostly concept-based, ignoring direct path evidence necessary for accurate reasoning. In this paper, we propose MRGNN (Meta-path Reasoning Graph Neural Network), a novel model that comprehensively captures sequential semantic information from concepts and paths. In MRGNN, meta-paths are introduced as direct inference evidence and an original graph neural network is adopted to aggregate features from both concepts and paths simultaneously. We conduct sufficient experiments on the CommonsenceQA and OpenBookQA datasets, showing the effectiveness of MRGNN. Also, we conduct further ablation experiments and explain the reasoning behavior through the case study.     

融合协同过滤信息的知识图注意力网络

知识图谱（KG）能够缓解协同过滤算法存在的数据稀疏和冷启动问题,在推荐领域被广泛地研究和应用。现有的很多基于KG的推荐模型混淆了用户物品二部图中的协同过滤信息和KG中实体间的关联信息,导致学习到的用户向量和物品向量无法准确表达其特征,甚至引入与用户、物品无关的信息从而干扰推荐。针对上述问题提出一种融合协同信息的知识图注意力网络（KGANCF）。首先,为了避免KG实体信息的干扰,网络的协同过滤层从用户物品二部图中挖掘出用户和物品的协同过滤信息;然后,在知识图注意力嵌入层中应用图注意力机制,从KG中继续提取与用户和物品密切相关的属性信息;最后,在预测层将用户物品的协同过滤信息和KG中的属性信息融合,得到用户和物品最终向量表示,进而预测用户对物品的评分。在MovieLens-20M和Last.FM数据集上进行了实验,与协同知识感知注意力网络（CKAN）相比,KGANCF在MovieLens-20M数据集上的F1分数提升了1.1个百分点,曲线下面积（AUC）提升了0.6个百分点;而在KG相对稀疏的Last.FM数据集上,模型的F1分数提升了3.3个百分点,AUC提升了8.5个百分点。实验结果表明,KGANCF能够有效提高推荐结果的准确度,在KG稀疏的数据集上显著优于协同知识嵌入（CKE）、知识图谱卷积网络（KGCN）、知识图注意网络（KGAT）和CKAN模型。     

教育测评知识图谱的构建及其表示学习

知识图谱旨在描述现实世界中存在的实体以及实体之间的关系.自2012年谷歌提出“Google Knowledge Graph”以来，知识图谱在学术界和工业界受到广泛关注.针对教育领域中信息缺乏系统性组织的不足，本文构建了面向高中的教育测评知识图谱（Educational Assessment Knowledge Graph，EAKG），其中EAKG的构建包括基于本体技术的知识图谱模式层构建和依托于模式层结构的知识图谱数据层构建.与传统通过网页爬虫等技术手段构建的知识图谱相比，本文构建的知识图谱优点在于逻辑结构清晰，实体间关系的刻画遵循知识图谱模式层的定义.EAKG为领域内知识共享，知识推理，知识表示学习等任务提供了良好的支撑.在真实模考数据上的实验结果表明：在试卷得分预测，知识点得分预测的实体链接预测和三元组分类嵌入式表示学习任务上，引入领域本体作为模式层构建的EAKG的性能优于没有领域本体模式层单纯由数据事实构成的EAKG，实验表明，领域本体的引入对知识图谱的表示学习具有一定的指导意义.     

图知识蒸馏综述：算法分类与应用分析

图数据, 如引文网络, 社交网络和交通网络, 广泛地存在现实生活中. 图神经网络凭借强大的表现力受到广泛关注, 在各种各样的图分析应用中表现卓越. 然而, 图神经网络的卓越性能得益于标签数据和复杂的网络模型, 而标签数据获取困难且计算资源代价高昂. 为了解决数据标签的稀疏性和模型计算的高复杂性问题, 知识蒸馏被引入到图神经网络中. 知识蒸馏是一种利用性能更好的大模型(教师模型)的软标签监督信息来训练构建的小模型(学生模型), 以期达到更好的性能和精度. 因此, 如何面向图数据应用知识蒸馏技术成为重大研究挑战, 但目前尚缺乏对于图知识蒸馏研究的综述. 旨在对面向图的知识蒸馏进行全面综述, 首次系统地梳理现有工作, 弥补该领域缺乏综述的空白. 具体而言, 首先介绍图和知识蒸馏背景知识; 然后, 全面梳理3类图知识蒸馏方法, 面向深度神经网络的图知识蒸馏、面向图神经网络的图知识蒸馏和基于图知识的模型自蒸馏方法, 并对每类方法进一步划分为基于输出层、基于中间层和基于构造图知识方法; 随后, 分析比较各类图知识蒸馏算法的设计思路, 结合实验结果总结各类算法的优缺点; 此外, 还列举图知识蒸馏在计算机视觉、自然语言处理、推荐系统等领域的应用; 最后对图知识蒸馏的发展进行总结和展望. 还将整理的图知识蒸馏相关文献公开在GitHub平台上, 具体参见: https://github.com/liujing1023/Graph-based-Knowledge-Distillation.     

面向网络空间安全情报的知识图谱综述

随着网络空间安全情报在网络犯罪、网络战和网络反恐等领域的作用日益凸显,迫切需要对网络空间安全情报的基本理论和综合分析方法进行深入研究。当前,安全情报在实际应用中主要面临着数据类型多样、分布离散、内容不一致等问题,因此引入知识图谱技术框架,旨在利用知识图谱面向海量数据时信息收集及加工整合的思想,提高安全情报的收集效率、情报质量,同时拓展情报的使用范围。本文首先简要回顾安全情报和知识图谱的研究现状,同时介绍知识图谱在安全领域的应用。其次给出面向安全情报的知识图谱构建框架。然后介绍安全情报知识图谱构建的关键技术,包括信息抽取、本体构建和知识推理等。最后,对安全情报知识图谱发展面临的问题进行了讨论。