开放领域知识图谱问答研究综述

知识图谱问答是通过处理用户提出的自然语言问题,基于知识图谱的某种形式,从中获取相关答案的过程.由于知识规模、计算能力及自然语言处理能力的制约,早期知识库问答系统被应用于限定领域.近年来,随着知识图谱的发展,以及开放领域问答数据集的陆续提出,知识图谱已用于开放领域问答研究与实践.以技术发展为主线,对开放领域知识图谱问答进行综述.首先,介绍五种基于规则模板的开放领域知识图谱问答方法:传统语义解析、传统信息检索、三元组匹配、话语模板和查询模板,这类方法主要依赖人工定义的规则模板完成问答工作.其次,描述五种基于深度学习的方法,这类方法采用神经网络模型完成问答过程的各类子任务,包括知识图谱嵌入、记忆网络、基于神经网络的语义解析、基于神经网络的查询图、基于神经网络的信息检索.接着,介绍开放领域知识图谱问答常用的4个通用领域知识图谱和11个开放领域问答数据集.随后,按照问题的难易程度选择3个经典问答数据集比较各问答系统的性能指标,对比不同方法间的性能差异并进行分析.最后,展望开放领域知识图谱问答的未来研究方向.     

基于知识图谱的在线商品问答研究

现阶段,针对商品的自动问答主要由意图识别和答案配置来实现,但问题答案的配置依赖人工且工作量巨大,容易造成答案质量不高。随着知识图谱技术的出现和发展,基于知识图谱的自动问答逐渐成为研究热点。目前,基于知识图谱的商品自动问答主要是通过规则解析的方法将文本形式问题解析为知识图谱查询语句来实现。虽然减少了人工配置工作,但其问答效果受限于规则的质量和数量,很难达到理想的效果。针对上述问题,该文提出一种基于知识图谱和规则推理的在线商品自动问答系统。主要贡献包括: ①构建一个基于LSTM的属性注意力网络SiameseATT(Siamese attention network)用于属性选择; ②引入了本体推理规则,通过规则推理使得知识图谱能动态生成大量三元组,使得同样数据下可以回答更多问题。在NIPCC-ICCPOL 2016 KBQA数据集上的实验显示,该系统具有很好的性能。相比一些更复杂的模型,该问答系统更适合电商的应用场景。     

基于知识图谱的法律问答系统研究

为了给群众提供免费且准确的法律咨询服务并降低咨询成本和律师服务成本，对基于知识图谱的法务问答系统进行了设计研究。系统构建基于BERT+BiLSTM+CRF的法律实体识别模型，对法律实体进行字符级抽取，将词向量技术、双向长短期记忆模型和条件随机场模型相结合，获得最优序列标注，为知识图谱构建和文本处理提供技术支持，并针对缺少法律咨询方面知识图谱的现状，构建了一个知识图谱，改善用户法律咨询的体验。     

基于知识图谱问答系统的技术实现

知识图谱是实现对话机器人的一类重要工具。如何通过一套完整流程来构建基于知识图谱的问答系统是比较复杂的。因此,本文从构建基于知识图谱的问答系统的全流程角度总结了多个主题:知识图谱类型、知识图谱构建与存储、应用在知识图谱对话中的语言模型、图空间内的语义匹配及生成。进一步,本文在各主题的垂直领域归纳了常用方法及模型,并分析了各子模块的目的和必要性。最后,本文通过总结出的必要模块及流程,给出了一种基于知识图谱的问答系统的基线模型快速构建方法。该方法借助了各模块的前沿算法且有效地保证了拓展性、准确性和时效性。     

问答系统研究综述

问答系统是人工智能和自然语言处理领域中具有广泛发展前景的研究方向之一.早期的问答系统限定以自然语言形式进行提问和回答,近年来,随着多模态知识图谱、多模态预训练模型的发展,支持文字、图片、音频、视频等多种模态间信息查询的广义问答系统逐渐成为新的研究热点,其以多媒体方式展示结果,更加直观、全面.本文根据问答系统任务对象的变化,将问答系统划分为3种类型:专用问答系统、通用问答系统和多模态问答系统.分析了这3种类型的问答系统发展过程中所面临的问题,着重总结每个阶段所采用的关键技术与方法,同时对问答系统在工业上的应用进行了举例说明,并对未来研究方向进行了展望.     

基于BERT的中文医疗问答系统

现如今,互联网中存在海量的医疗领域知识可以用于医疗病情诊断,但传统的搜索引擎并无法根据病人的实际情况做出合理的判断,无法满足使用需求.因此,本文主要开发基于知识图谱问答系统.该系统面向医疗领域,采用爬虫技术获取了大量医疗数据并将其存储在Neo4j图数据库构建医疗知识图谱中.同时,为了使系统能够进一步理解用户的医疗询问问句,本文提出了基于BERT以及BERT-BiLSTM-CRF模型分别用于识别问句中的意图信息和实体信息的方法.最后,系统利用意图和实体信息在知识图谱中进行查询并为用户提供合适的回答,完成了医疗问答系统的构建.     

基于BERT的常见作物病害问答系统问句分类

问句分类作为问答系统的关键模块，也是制约问答系统检索效率的关键性因素。针对农业问答系统中用户问句语义信息复杂、差异大的问题，为了满足用户快速、准确地获取常见作物病害问句的分类结果的需求，构建了基于BERT的常见作物病害问答系统的问句分类模型。首先，对问句数据集进行预处理；然后，分别构建双向长短期记忆(Bi-LSTM)自注意力网络分类模型、Transformer分类模型和基于BERT的微调分类模型，并利用三种模型提取问句的信息，进行问句分类模型的训练；最后，对基于BERT的微调分类模型进行测试，同时探究数据集规模对分类结果的影响。实验结果表明，基于BERT的微调常见作物病害问句分类模型的分类准确率、精确率、召回率、精确率和召回率的加权调和平均值分别高于双向长短期记忆自注意力网络模型和Transformer分类模型2～5个百分点，在常见作物病害问句数据集（CCDQD）上能获得最高准确率92.46%，精确率92.59%，召回率91.26%，精确率和召回率的加权调和平均值91.92%。基于BERT的微调分类模型具有结构简单、训练参数少、训练速度快等特点，并能够高效地对常见作物病害问句准确分类，可以作为常见作物病害问答系统的问句分类模型。     

基于知识图谱的急诊问答系统

为了提升现有急诊问答的速度,将医疗类专家知识、知识图谱和问答系统相结合,实现了通过自然语言人机交互 的急诊问答系统。本系统基于垂直类医疗网站,使用网络爬虫技术构建知识库,通过图数据库存储知识图谱;基于规则匹配方法和字符串匹配算法,构建领域词库对问句分类查询。本系统在急诊医疗领域知识图谱和问答系统构建中有应用价值。     

基于知识图谱的原发性肝癌知识问答系统

问答系统可以增加用户获取信息的便捷度,而知识图谱作为结构化的数据来源,可以为问答系统提供更加高质量的知识,基于医学知识图谱的问答系统具有重要的研究和应用意义。该文针对成人中常见的原发性肝癌,从医学指南及SemMedDB知识库中抽取其知识三元组,构建了原发性肝癌的知识图谱。在此基础上,实现了流水线式的问答系统: 先识别问题中的实体,再结合TFIDF和词向量生成句子向量,匹配最相似的问题模板,根据模板的语义及问题中的实体,到知识图谱中检索答案。实验表明,该系统可以有效地回答原发性肝癌相关的药物、疾病及表征等问题。     

基于知识图谱的自杀倾向检测问答系统构建

针对当今社会人们因缺乏心理知识而导致心理疾病患病率急剧上升的问题,构建了一个小型的心理咨询知识图谱与问答系统（Question Answering system,QA）。该系统可以帮助咨询者及时获取心理知识,也可以识别出有自杀倾向的咨询者,防止危险发生。搜集了一些心理信息数据,通过构建字典并生成实体与关系构建了知识图谱;使用了HanLP（Han Language Processing）分词工具来生成关键词,通过CHI（Chi-square）特征选择来进行问题分类,提高问答效率;通过与其他模型对比,优选BiLSTM（Bi-directional Long Short-Term Memory）模型构建了自杀倾向文本分类器来检测危险的用户发言;通过计算相似度得分来进行问题模板匹配并生成答案。最后进行系统正确率测试,证明了该系统可以有效回答心理咨询相关的问题。     

基于知识图谱的智能问答意图识别联合模型

针对现有意图识别联合模型在专业领域知识图谱问答中容易发生识别领域实体以及问句分类错误的情况,提出一个结合了领域知识图谱的意图识别联合模型。该模型有三步,将领域知识图谱中实体对应的本体标签以及本体间关系导入训练数据集,形成包含本体标签的知识文本以及额外包含本体关系的知识文本图;通过字符级嵌入和位置信息嵌入将包含了本体标签的知识文本转化成嵌入表示并依据知识文本图创建实体关系可视矩阵,明确知识文本各成分的相关程度;将嵌入表示和实体关系可视矩阵输入模型编码层进行模型的训练。以高速列车领域知识图谱为例,经过准确率和召回率的验证,以该方法训练出的模型在高速列车领域问答数据集的意图识别任务上取得了更好的表现。     

基于知识图谱与关键词注意机制的中文医疗问答匹配方法

针对当前中文医疗领域高质量问答数据缺乏的问题,提出基于知识图谱与关键词注意机制的中文医疗问答匹配方法.首先,引入医学知识图谱,得到知识增强的句子特征.然后,加入关键词注意力机制,强调问题和答案句子之间的相互影响.在2个公开的中文医疗问答数据集cMedQA与webMedQA上的实验表明,当样本数据量较小时,文中方法的优势明显.消融实验也验证每个新增模块对文中方法的性能均有一定程度的提升.     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于BERT的心血管医疗指南实体关系抽取方法

实体关系抽取是医疗领域知识问答、知识图谱构建及信息抽取的重要基础环节之一。针对在心血管专病知识图谱构建的过程中尚无公开数据集可用的情况,收集了心血管疾病领域的医疗指南并进行相应的实体和关系类别的专业标注,构建了心血管专病知识图谱实体关系抽取的专业数据集。基于该数据集,首先提出双向变形编码器卷积神经网络（BERT-CNN）模型以实现中文语料中的关系抽取,然后根据中文语义中主要以词而不是字为基本单位的特性,提出了改进的基于全词掩模的双向变形编码器卷积神经网络（BERT（wwm）-CNN）模型用于提升在中文语料中关系抽取的性能。实验结果表明,改进的BERT（wwm）-CNN在所构建的关系抽取数据集上准确率达到0.85,召回率达到0.80,F₁值达到0.83,优于对比的基于双向变形编码器长短期记忆网络（BERT-LSTM）模型和BERT-CNN模型,验证了改进网络模型的优势。     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码器的思想,以预编码器-源编码器-解码器为核心架构,利用BERT模型进行预编码,并以Transformer模型为基础构建源编码器和解码器.此外,该方法还结合了答案编码技术并进行了改进.本文使用NLPCC2017 KBQA数据集进行实验,实验表明该模型在BLEU、ROUGE以及人工评价指标上较基线模型有明显提升,并且能够生成更具多样性的问题,证明了该方法的有效性.     

An end-to-end tabular information-oriented causality event evolutionary knowledge graph for manufacturing documents

Industrial tabular information extraction and its semantic fusion with text (ITIESF) is of great significance in converting and fusing industrial unstructured data into structured knowledge to guide cognitive intelligence analysis in the manufacturing industry. A novel end-to-end ITIESF approach is proposed to integrate tabular information and construct a tabular information-oriented causality event evolutionary knowledge graph (TCEEKG). Specifically, an end-to-end joint learning strategy is presented to mine the semantic information in tables. The definition and modeling method of the intrinsic relationships between tables with their rows and columns in engineering documents are provided to model the tabular information. Due to this, an end-to-end joint entity relationship extraction method for textual and tabular information from engineering documents is proposed to construct text-based knowledge graphs (KG) and tabular information-based causality event evolutionary graphs (CEEG). Then, a novel NSGCN (neighborhoods sample graph convolution network)-based entity alignment is proposed to fuse the cross-knowledge graphs into a unified knowledge base. Furthermore, a translation-based graph structure-driven Q&A (question and answer) approach is designed to respond to cause analysis and problem tracing. Our models can be easily integrated into a prototype system to provide a joint information processing and cognitive analysis. Finally, the approach is evaluated by employing the aerospace machining documents to illustrate that the TCEEKG can considerably help workers strengthen their skills in the cause-and-effect analysis of machining quality issues from a global perspective.     

融合知识图谱和轻量级图卷积网络推荐系统的研究

基于协同过滤的算法是推荐系统中最重要的方法,由于冷启动和数据稀疏性的特点,限制了其推荐性能。为了应对以上问题,提出了知识图谱和轻量级图卷积网络推荐系统相结合的模型,该模型通过将知识图谱中的各个实体（项目）进行多次迭代嵌入传播以获取更多的高阶邻域信息,通过轻量聚合器进行聚合,进而预测用户和项目之间的评分。最后,在3个真实的数据集上MovieLens-20M、Last.FM和Book-Crossing的实验结果表明,该模型与其他基准模型相比可以得到较好的性能。     

基于多粒度特征表示的知识图谱问答

近年来,基于知识图谱的问答系统逐渐成为学术界和工业界的研究和应用热点方向,而传统方法通常存在效率不高以及未充分利用数据信息的问题。针对以上问题,本文将中文知识图谱问答分为实体抽取和属性选择2个子任务,采用双向长短期记忆条件随机场（Bi-LSTM-CRF）模型来进行实体识别,并提出一种多粒度特征表示的属性选择模型。该模型采用字符级别以及词级别分别对问句和属性进行嵌入表示并通过编码器进行编码,对于属性同时还引入热度编码的信息。通过不同粒度文本表示的结合,并对问句和属性进行相似度计算,最终该系统在NLPCC-ICCPOL 2016 KBQA数据集上取得了73.96%的F1值,能够较好地完成知识图谱问答任务。