基于表示学习的知识库问答研究进展与展望

面向知识库的问答(Question answering over knowledge base, KBQA)是问答系统的重要组成. 近些年, 随着以深度学习为代表的表示学习技术在多个领域的成功应用, 许多研究者开始着手研究基于表示学习的知识库问答技术. 其基本假设是把知识库问答看做是一个语义匹配的过程. 通过表示学习知识库以及用户问题的语义表示, 将知识库中的实体、关系以及问句文本转换为一个低维语义空间中的数值向量, 在此基础上, 利用数值计算, 直接匹配与用户问句语义最相似的答案. 从目前的结果看, 基于表示学习的知识库问答系统在性能上已经超过传统知识库问答方法. 本文将对现有基于表示学习的知识库问答的研究进展进行综述, 包括知识库表示学习和问句(文本)表示学习的代表性工作, 同时对于其中存在难点以及仍存在的研究问题进行分析和讨论.     

基于信息匹配方法的中文知识库问答系统

知识库问答任务是自然语言处理领域中的研究热点之一,目前国内外学者对知识库问答方法的研究大多数是基于英文数据,基于中文数据的研究非常少。由于中文存在语言多变性、语法不明确性、语言歧义性等特点,导致很多英文知识库问答研究方法很难应用于中文数据。针对以上问题,该文提出一种基于信息匹配的中文知识库问答研究方法,探索方法在中文数据上的效果。首先对问题进行主语实体识别和属性值识别;其次将问句中的实体链接到知识库中的实体,使用逻辑回归对候选实体进行筛选;再次抽取其两跳内关系作为候选查询路径,将候选查询路径和问题进行相似度匹配得到匹配度最高的候选路径;最后使用实体拼接来得到多实体情况的查询路径,查询知识库获得最终答案。该方法在CCKS2019 CKBQA测试集上的F值达到了75.6%。     

知识库问答研究进展与展望

基于知识库的问答(Question Answeringover Knowledge Base, KBQA)是问答系统的重要组成部分,要求计算机正确理解自然语言问题的语义,并从知识库中提取问题的答案.早期研究主要关注仅涉及到单个关系三元组的简单问答,近年来,随着以深度学习为代表的表示学习技术在简单问答任务的成功应用,研究重点逐渐转移到需要复杂推理能力的推理问答上.本文将对现有知识库问答的研究进展进行综述,先总结简单问答和推理问答两类任务各自的问题和挑战,然后对近年来与知识库问答相关的数据集进行多维度的分析和比较,接下来对两类任务的代表性方法进行系统性归纳介绍并分析各类方法的优缺点,最后对未来的研究方向进行展望.     

基于Graph Transformer的知识库问题生成

知识库问答依靠知识库推断答案,需要大量带标注信息的问答对,但构建大规模且精准的数据集不仅代价昂贵,还受领域等因素限制.为缓解数据标注问题,面向知识库的问题生成任务引起了研究者关注,该任务的特点是利用知识库三元组自动生成问题,但现有方法仅由一个三元组生成的问题过于简短,且缺乏多样性.为生成信息量丰富且多样化的问题,该文采...     

受限域FAQ中文问答系统研究

在受限域中采用常问问题(FAQ)实现业务咨询系统是一种较好的问答模式,提出了一种受限域FAQ问答系统模型,借助于本体论的思想,构建了领域知识库,利用KDML语言定义和描述了领域本体及本体之间的关系,并实现了领域知识库"领域知网"与常识库"知网"的融合.在此基础上,提出了一种问句相似度的计算方法,该方法借助领域问句所具有的特点,结合问句中的词法关系、句法依存关系及领域概念关系,实现问句相似度计算.并以相似度计算为基础,从侯选问题集中检索相关问句,提取问题答案.云南旅游FAQ问答原型系统测试结果表明该方法可行,有较好的效果.     

基于特征增强的开放域知识库问答系统

实体消歧和谓词匹配是中文知识库问答系统（CKBQA）中的两个核心任务。针对开放域知识库中实体和谓词数量巨大,且中文问句与知识库知识在表现形式上存在差异的问题,提出一种基于特征增强的BERT的流水线式问答系统（BERT-CKBQA）,改进了上述两个子任务。采用BERT-CRF模型识别问句中提及的实体,得到候选实体集合。将问题和拼接谓词特征的候选实体输入BERT-CNN模型进行实体消歧。根据实体生成候选谓词集合,提出通过注意力机制引入答案实体谓词特征的BERT-BiLSTM-CNN模型进行谓词匹配。结合实体和谓词的得分确定查询路径来检索最终答案。该方法设计了一个中文简单问题的开放域知识库问答系统,引入预训练模型与谓词特征增强子任务特征以提升其性能,并在NLPCC-ICCPOL-2016KBQA 数据集上取得了88.75%的平均F1值,提高了系统的回答准确率。     

基于BI-LSTM-CRF模型的限定领域知识库问答系统

随着开放领域问答系统的发展,迫切需要机械行业与人工智能融合,建立面向机械领域的知识库问答系统是十分必要的。基于机械行业数据和自然语言处理技术,本文提出采用条件随机场和长短期记忆神经网络结合构建网络模型,提升信息抽取性能,建立机械行业的知识库问答系统。通过实验数据对比分析,本文模型取得了较好的效果。     

基于知识库的开放领域问答系统

问答系统能够理解用户问题,并直接返回答案。现有问答系统大多是面向领域的,仅能回答特定领域的问题。文中提出了基于大规模知识库的开放领域问答系统实现方法。该系统首先采用自定义词典分词和CRF模型相结合的方法识别问句中的主体;其次,采用模糊匹配方法将问句中的主体与知识库中实体建立链接;然后,通过相似度计算以及规则匹配等多种方法识别问句中的谓词并与知识库实体的属性建立关联;最后,进行实体消歧和答案获取。该系统平均F-Measure值为0.695 6,表明所提方法在基于知识库的开放领域问答上具有可行性。     

融合子图结构的神经推理式知识库问答方法

知识库(或知识图谱)作为一种对现实世界的有效表征模式,引起了学术界和工业界广泛关注.近年来,随着大规模知识库的出现,知识库问答技术作为知识库的基础应用技术同样备受关注.基于语义解析的代表方法通过对查询句的解析将问题转化为图上的答案检索,但知识库中往往存在缺失的链接,导致上述过程无法顺利开展;基于神经推理的代表模型通过对问题进行编码来进行实体相似度排序,但其无法解决动态场景下的实体冷启动问题.针对上述问题,提出了一种融合子图结构的神经推理式知识库问答方法,实现了在问答推理过程中兼顾实体的语义与结构信息,从而进行更充分的推理.首先,通过预训练模型RoBERTa将问句转换为包含语义的向量;其次,根据问句中的实体构建相应的问答子图,并利用图神经网络提取子图的结构信息;再次,基于背景知识库进行实体表示预训练,并与对应的结构表示进行融合;最后,根据融合后的向量对候选答案进行评分,将评分最高的实体作为答案.在WebQuestionsSP数据集上进行了对比测试,实验结果表明,提出的模型优于其他基准模型.     

网络问答资源挖掘综述

由大规模问答对组成的问答知识库对于自动问答技术的巨大支持作用是不言而喻的,从互联网获取知识并以问答对的形式加以保存是扩充和完善问答知识库的必要手段.阐述了面向互联网数据源的问答资源挖掘对于问答系统构建和自然语言处理研究的重要意义,概述了网络问答资源挖掘研究的主要任务以及面临的挑战,并通过对当前该领域的研究成果的综述分析了其中的重点研究问题.     

常识问答研究综述

常识问答是一项重要的自然语言理解任务, 旨在利用常识知识对自然语言问句进行自动求解, 以得到准确答案. 常识问答在虚拟助手或社交聊天机器人等领域有着广泛的应用前景, 且其蕴涵了知识挖掘与表示、语言理解与计算、答案推理和生成等关键科学问题, 因而受到工业界和学术界的广泛关注. 首先介绍常识问答领域的主要数据集; 其次, 归纳不同常识知识源在构建方式、常识来源和表现形式上的区别; 同时, 重点分析并对比前沿常识问答模型, 以及融合常识知识的特色方法. 特别地, 根据不同问答任务场景中常识知识的共性和特性, 建立包含属性、语义、因果、语境、抽象和意图6大类的知识分类体系. 以此为支撑, 针对常识知识数据集建设, 感知知识融合和预训练语言模型的协作机制, 以及在此基础上的常识知识预分类技术, 进行前瞻性的研究, 并具体报告上述模型在跨数据集迁移场景下的性能变化, 及其在常识答案推理中的潜在贡献. 总体上, 包含对现有数据和前沿技术的回顾, 也包含面向跨数据知识体系建设、技术迁移与通用化的预研内容, 借以在汇报领域技术积累的前提下, 为其理论和技术的进一步发展提供参考意见.     

Language,logic and ontology: Uncovering the structure of commonsense knowledge

The purpose of this paper is twofold: (i) we argue that the structure of commonsense knowledge must be discovered, rather than invented; and (ii) we argue that natural language, which is the best known theory of our (shared) commonsense knowledge, should itself be used as a guide to discovering the structure of commonsense knowledge. In addition to suggesting a systematic method to the discovery of the structure of commonsense knowledge, the method we propose seems to also provide an explanation for a number of phenomena in natural language, such as metaphor, intensionality, and the semantics of nominal compounds. Admittedly, our ultimate goal is quite ambitious, and it is no less than the systematic ‘discovery’ of a well-typed ontology of commonsense knowledge, and the subsequent formulation of the long-awaited goal of a meaning algebra.     

融合全局—局部特征的多粒度关系检测模型

面向知识库问答的关系检测旨在从知识库的候选关系中选出与自然语言问题最匹配的关系路径,从而检索得到问题的正确答案。针对现有关系检测方法中存在的语义信息丢失和注意力交互不充分的问题,提出了一种融合全局—局部特征的多粒度关系检测模型。该模型首先使用双向长短期记忆网络对问题和关系进行编码,从单词级和关系级多种粒度对关系建模;然后使用双向注意力机制实现问题和关系的注意力交互;最后通过聚合操作提取全局特征,通过词级交互提取局部特征,计算问题和候选关系的语义相似度。实验表明,该模型在SimpleQuestions和WebQuestionsSP数据集上分别取得了93.5%和84.13%的精确度,提升了关系检测的效果。     

一种应用于KBQA关系检测的多视角层次匹配网络

知识库问答(KBQA)是指利用知识库中的一个或多个知识三元组回答一个自然语言问题,需要检测问题中提及的知识库实体和关系.关系检测是知识库问答的核心.为了解决现有关系检测方法存在的匹配视角单一和信息瓶颈问题,本文提出了一种多视角层次匹配网络(M-HMN,Multi-view Hierarchical Matching Network),M-HMN利用双向注意力机制对齐问题与候选关系的不同特征,强化两者匹配部分的观察精细度,将匹配信息封装成向量,再由自注意力机制有效聚合多个向量以进行正确关系检测.对于KBQA最终任务的评估,本文提出一种简易的实体重排序算法,利用M-HMN网络优化候选实体集.实验结果表明,M-HMN能有效缓解关系检测的信息瓶颈问题,而提出的实体重排序算法能够进行实体消歧,获得更小更为精准的候选实体集,对KBQA最终任务性能有显著的提升.     

中文症状知识库的建立与分析

构建大规模的知识库是人工智能、自然语言理解等领域的基础任务之一。症状作为描述病人的主观感受和诊断疾病的重要依据,更是优化智能导诊、医学问答等任务的重要因素。该文在现有的医学症状知识库研究的基础上,结合症状的概念、特征及在医学诊断中发挥的作用,构建了一个公开的中文症状知识库。该知识库从症状的本体分类、相关疾病、发作部位及多发人群等层面对相关属性进行了详细描述,涵盖了8 772种症状,共计146 631条属性关系。所构建的症状知识库(CSKB)是中文医学知识图谱的重要组成部分,并为KBQA、知识推理及决策支持等应用提供了数据基础。     

基于多特征语义匹配的知识库问答系统

知识库问答（KBQA）任务主要目的在于精确地将自然语言问题和知识库（KB）中的三元组进行匹配。传统的KBQA方法通常专注于实体识别和谓语匹配,实体识别的错误会导致错误传播从而无法得到正确的答案。针对上述问题提出一种端到端的解决方案直接匹配问题和三元组,该系统主要包含候选三元组生成和候选三元组排序两个部分来实现精确问答。首先通过BM25算法计算问题和知识库中三元组的相关性生成候选三元组;然后通过多特征语义匹配模型（MFSMM）进行三元组的排序,即用MFSMM分别通过双向长短时记忆网络（Bi-LSTM）和卷积神经网络（CNN）实现语义相似度和字符相似度的计算,并通过融合来对三元组进行排序。该系统在NLPCC-ICCPOL 2016 KBQA数据集上的平均F1为80.35%,接近了现有最好的表现。     

融合预训练模型的中文知识图谱问题生成方法

基于知识图谱的问答方法旨在通过知识图谱的三元组检索和推断来对自然语言形式的问题进行解答.然而,现有中文知识图谱问答语料库存在规模较小,质量较差等问题,相关语料库构建方法亟待完善.因此,本文提出一种融合预训练模型的中文知识图谱问题生成方法,目标是以中文知识图谱三元组作为输入生成正确且多样的问题.该方法汲取了条件变分自编码器的思想,以预编码器-源编码器-解码器为核心架构,利用BERT模型进行预编码,并以Transformer模型为基础构建源编码器和解码器.此外,该方法还结合了答案编码技术并进行了改进.本文使用NLPCC2017 KBQA数据集进行实验,实验表明该模型在BLEU、ROUGE以及人工评价指标上较基线模型有明显提升,并且能够生成更具多样性的问题,证明了该方法的有效性.     

心理常识概念的表示、获取和分析

常识知识是一类重要的人类知识，对自然语言分析、机器智能研究和自动推理研完等都有重要的意义。本文围绕心理常识，主要讨论与心理相关的常识概念的表示、获取和分析的方法。针对现有的概念模型中的概念主要由手工获取．缺乏自动方法，使得概念获取的非冗余性、一致性不能得到保证的问题，本文提出了获取心理常识概念的基本策略：依据心理学中的心理范畴手工获取心理常识的基础概念及概念间关系；根据属性的心理特征手工得到心理属性和属性问关系；以心理常识基础概念和心理常识属性为语义成分，通过“子类生成规则”自动完成获取和组织心理常识概念的任务。并且通过“子类检查规则”检查和分析新加入概念库的常识概念的冗余性和一致性。     

基于弱依赖信息的知识库问答方法

传统自动问答方法通常依赖谓词等先验信息实现知识库问答,需要耗费较多的人力且泛化能力不佳。提出一种针对弱依赖信息的知识库问答方法,结合BERT与BiLSTM-CRF网络提取问句中的命名实体,定位知识库中与该实体相关的三元组信息,通过答案匹配网络为三元组集合中的答案标上相似度分数,使用阈值选择策略选取符合要求的答案集合,并按照相似度分数由高到纸排序后呈现给用户。实验结果表明,该方法弱化了对先验信息的依赖,在减少人工干预的同时保证了问答质量,并且在NLPCC-ICCPOL-2016KBQA数据集上取得了87.05%的F1分数。