基于知识图谱的深度学习研究现状及趋势计量可视化分析

基于中国知网数据库2005—2019年收录的以"深度学习"为关键词的CSSCI来源类别的405篇相关文献,笔者通过计量可视化分析软件,分别从发文量、关键词、期刊、作者、机构5个维度定量分析了国内深度学习的研究现状和发展趋势,希望为后续研究打下基础。     

知识图谱可解释推理研究综述

面向知识图谱的知识推理旨在通过已有的知识图谱事实,去推断新的事实,进而实现知识库的补全.近年来,尽管基于分布式表示学习的方法在推理任务上取得了巨大的成功,但是他们的黑盒属性使得模型无法为预测出的事实做出解释.所以,如何设计用户可理解、可信赖的推理模型成为了人们关注的问题.从可解释性的基本概念出发,系统梳理了面向知识图谱的可解释知识推理的相关工作,具体介绍了事前可解释推理模型和事后可解释推理模型的研究进展;根据可解释范围的大小,将事前可解释推理模型进一步细分为全局可解释的推理和局部可解释的推理;在事后解释模型中,回顾了推理模型的代表方法,并详细介绍提供事后解释的两类解释方法.此外,还总结了可解释知识推理在医疗、金融领域的应用.随后,对可解释知识推理的现状进行概述,最后展望了可解释知识推理的未来发展方向,以期进一步推动可解释推理的发展和应用.     

基于双模型识别的知识图谱可视化建模仿真

为加强知识图谱实体间的关联性,提高知识图谱的表达精度,以深度学习为技术支持,构建可视化知识图谱建构模型。采用清洗、jieba分词、卷积神经网络分类等手段处理初始数据集,基于BiLSTM-CRF算法与BiGRU-Attention模型,建立知识实体识别模型与实体关系识别模型。将识别的知识实体与实体关系储存至Neo4j图数据库中,令建构的知识图谱可视化。仿真环节,从人工标注数据集合中随机抽取中文语料,设立测试集与训练集,利用测试集训练识别模型,更新模型参数,采用多指标客观评价训练集的实体与关系识别效果,经指标评估结果验证,所建模型具有相对理想的可视化知识图谱建构效果。     

可解释的知识图谱推理方法综述

近年来,以深度学习模型为基础的人工智能研究不断取得突破性进展,但其大多具有黑盒性,不利于人类认知推理过程,导致高性能的复杂算法、模型及系统普遍缺乏决策的透明度和可解释性。在国防、医疗、网络与信息安全等对可解释性要求严格的关键领域,推理方法的不可解释性对推理结果及相关回溯造成较大影响,因此,需要将可解释性融入这些算法和系统中,通过显式的可解释知识推理辅助相关预测任务,形成一个可靠的行为解释机制。知识图谱作为最新的知识表达方式之一,通过对语义网络进行建模,以结构化的形式描述客观世界中实体及关系,被广泛应用于知识推理。基于知识图谱的知识推理在离散符号表示的基础上,通过推理路径、逻辑规则等辅助手段,对推理过程进行解释,为实现可解释人工智能提供重要途径。针对可解释知识图谱推理这一领域进行了全面的综述。阐述了可解释人工智能和知识推理相关概念。详细介绍近年来可解释知识图谱推理方法的最新研究进展,从人工智能的3个研究范式角度出发,总结了不同的知识图谱推理方法。提出对可解释的知识图谱推理研究前景和未来研究方向。     

基于动态知识图谱和深度神经网络的会话推荐方法

基于深度神经网络对会话进行建模的方法在处理会话序列数据时忽视了项目动态知识和会话中的操作行为,影响了推荐的准确性问题,为此提出基于动态知识图谱和深度神经网络的会话推荐方法。分别采用图神经网络和循环神经网络学习项目序列和操作序列的特征表示,结合动态知识图谱的项目知识进行建模以达到动态推荐的目的。实验结果表明,该方法能够提高推荐结果的准确性,更为有效预测用户的下一个交互项目。     

面向知识图谱链接预测任务的解释子图生成模型

近年来图神经网络（GNN）发展迅速,相关模型在知识图谱链接预测任务上的性能显著提升。为解释性能提升的原因,研究人员需要提取GNN学习到的子图模式。然而现有GNN解释器在知识图谱这类典型多关系（multi-relation）图数据场景下的解释准确性尚未被验证,且相关工具尚未实现,导致解释子图提取困难。针对该问题,提出一种将多关系的知识图谱转换为单关系（uni-relational）图的知识图谱链接预测模型,该模型通过将知识图谱中的实体组合为新的节点,并将关系作为新节点的特征,生成只有单一关系的新图,并在新图上训练去噪自编码器使其获得链接预测能力,最后使用GNN解释器生成子图解释。在三个基准数据集上的实验表明,与不进行转换的GraIL相比,所提基于单关系转换的链接预测模型的相对AUC指标提升显著。最后,该模型选取FB15K-237数据集进行解释子图提取实验,验证了模型在直接提取链接预测解释方面的有效性。     

融合协同知识图谱与反事实推理的可解释推荐机制

为构建透明可信的推荐机制,相关研究工作主要通过可解释推荐机制为个性化推荐提供合理解释,然而现有可解释推荐机制存在三大局限：1）利用相关关系只能提供合理化解释而非因果解释,而利用路径提供解释存在隐私泄露问题;2）忽略了用户反馈稀疏的问题,解释的保真度难以保证;3）解释粒度较粗,未考虑用户个性化偏好。为解决上述问题,提出基于协同知识图谱（CKG）与反事实推理的可解释推荐机制（ERCKCI）。首先,基于用户自身的行为序列,采用反事实推理思想利用因果关系实现高稀疏度因果去相关,并迭代推导出反事实解释;其次,为提升解释保真度,不仅在单时间片上利用CKG和图神经网络（GNN）的邻域传播机制学习用户和项目表征,还在多时间片上通过自注意力机制捕获用户长短期偏好以增强用户偏好表征;最后,基于反事实集的高阶连通子图捕获用户的多粒度个性化偏好,从而增强反事实解释。为验证ERCKCI机制的有效性,在公开数据集MovieLens(100k)、Book-crossing和MovieLens(1M)上进行了对比实验。所得结果表明,该机制在前两个数据集上相较于RCF(Relational Collaborative ...     

神经网络可解释性可视化方法研究

深度学习的发展,促使神经网络在现实各个领域得到广泛应用。神经网络可解释性的缺乏是的其在安全性、可靠性要求较高的行业没有得到实质性应用。可视化方法立足对神经网络结构、特征的诠释,是一种很好的神经网络解释性方法。依据神经网络结构、训练阶段,归纳可视化方法为：特征可视化、关系可视化和过程可视化。最后利用Grad-CAM方法举例了特征可视化,描述了其工作原理。     

可解释化、结构化、多模态化的深度神经网络

深度学习方法依赖于大规模的标签数据,通过端到端的监督训练,在计算机视觉、自然语言处理领域都取得优异性能.但是,现有方法通常针对单一模态数据,忽视数据的内在结构,缺乏理论支撑.针对上述问题,文中从基于小波核学习的深度滤波器组网络设计、基于结构化学习的深度学习、基于多模态学习的深度学习3个角度阐述结合深度学习方法与小波理论、结构化预测的潜在方法,以及其拓展到多模态数据的可行机制.     

可解释深度知识追踪模型

知识追踪任务通过建模用户的习题作答序列跟踪其认知状态,进而预测其下一时刻的答题情况,实现对用户知识掌握程度的智能评估.当前知识追踪方法多针对知识点建模,忽略了习题信息建模与用户个性化表征,并且对于预测结果缺乏可解释性.针对以上问题,提出了一个可解释的深度知识追踪框架.首先引入习题的上下文信息挖掘习题与知识点间的隐含关系,得到更有表征能力的习题与知识点表示,缓解数据稀疏问题.接着建模用户答题序列获得其当前知识状态,并以此学习个性化注意力,进而得到当前习题基于用户知识状态的个性化表示.最后,对于预测结果,依据个性化注意力选择一条推理路径作为其解释.相较于现有方法,所提模型不仅取得了更好的预测结果,还能为预测结果提供推理路径层面的解释,体现了其优越性.     

基于多层注意力网络的可解释认知追踪方法

认知追踪是一种数据驱动的学习主体建模技术,旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来,在深度学习算法的加持下,深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性,决策过程或结果缺乏可解释性,难以提供学习归因分析、错因追溯等高价值教育服务等问题,提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息,建立一种包含题目元素、语义和记录等3层注意力的网络结构,利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子,实现对模型预测性能与可解释强度的调控.同时,定义了预测结果可解释性度量指标——保真度,实现对认知追踪模型可解释性的量化评估.最后,在6个领域基准数据集上的实验结果表明：该方法有效提升了模型的可解释性.     

基于图匹配网络的可解释知识图谱复杂问答方法

知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱子图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过结合预训练语言模型和图神经网络技术,再利用注意力机制学习查询结构的上下文表示,从而得到更加丰富的结构匹配表示,用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验,结果表明：TTQA超过了现有方法.同时,通过消融实验验证了GMN的有效性.此外,TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.     

基于图神经网络和语义知识的自然语言推理任务研究

自然语言推理任务的目的是推断两个句子之间的语义逻辑关系.该文通过模仿人类的推理过程构造模型,首先利用长短时记忆网络提取词的语境特征,模仿人类粗读句子的过程;然后依据外部语义知识,连接两个句子中有语义联系的词,构造一个以词为节点的语义图;接下来模仿人类比较两个句子的语义角色相似性的思维,用图卷积或图注意力神经网络聚合词在...     

Visualization for Knowledge Graph Based on Education Data

Knowledge graph, also known as scienti c knowledge graph, can reveal the dynamic development rules in complex knowledge elds. How to clearly present the internal structure of knowledge graph is particularly important, however, the current visualization research based on knowledge graph is rare. In this paper, varieties of data related to education are mined from massive web data, and are fused together. Then knowledge graph which is centered on educational events is constructed utilizing extracted named entities and entity relations. We construct a visual analysis platform for education knowledge graph, EduVis, which can support users to do associated analysis of education, and enable users to obtain the public opinions. In EduVis, we design and implement a) a word cloud treemap to provide an overview of education knowledge graph, b) a layout of events relation network graph based on topological structure and timeline to explore in details, c) a click tracking path to record the history of users'' clicks and help users to backtrack. The case studies show that the aforementioned visual analysis methods for our knowledge graph can meet users'' demands for data analysis tasks.     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

基于跨会话知识图谱的图注意力网络推荐方法

基于会话的推荐方法旨在根据匿名用户行为序列预测下一个项目。然而,现有会话推荐方法多基于当前会话建模用户偏好,忽略了会话间蕴含的语义信息及知识图谱中丰富的实体和关系信息,无法有效缓解数据稀疏性的问题。提出一种基于跨会话信息与知识图谱的图注意力网络推荐方法。通过有效整合跨会话信息和知识图谱中的项目知识构建跨会话知识图谱,利用知识感知的注意力机制计算各邻居节点的重要性分数,以更新项目节点表示,采用门控循环单元和图注意力网络将每个会话表示为该会话的当前偏好和全局偏好的组合。在此基础上,将会话嵌入和项目嵌入拼接后输入到多层感知机,得到目标会话和候选项目的预测分数,从而实现会话推荐。实验结果表明,与GRU4REC、SR-GNN、FGNN等方法相比,该方法在KKBOX和JDATA两个真实数据集上的推荐命中率分别至少提高了8.23和2.41个百分点,能有效增强会话推荐性能。