基于位置和注意力联合表示的知识图谱问答

知识图谱是人工智能的重要组成部分,其以结构化的方式描述客观世界中的概念、实体及关系,提供了一种更优的组织、管理和理解互联网海量信息的能力。随着深度学习技术的发展,基于表示学习的知识图谱问答方法陆续出现。利用表示学习的方法实现知识图谱问答的核心目标是将问题嵌入到与三元组相同维度的表示向量空间中,通过合适的答案预测方法来匹配问题与答案。参考复数域编码的思路,构建一种基于位置和注意力联合表示的三元组表示模型Pos-Att-complex。在三元组表示部分,将词本身的特征和位置特征联合编码,并通过解码器网络进一步挖掘深层次特征,从而对三元组进行打分。在知识图谱问答部分,将问题通过RoBERTa嵌入到与三元组向量相同维度的向量空间中,并与通过关系筛选的关系集合进行向量融合。在此基础上,通过联合表示解码器为候选答案打分,以筛选出问题的答案。实验结果表明,该模型在三元组分类和多跳问答基准数据集上均能取得良好的测试结果,准确率优于GraftNet、VRN等模型。     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中,可以有效地实现知识图谱补全并提高计算效率,是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组,忽略了知识的时间动态性和实体的类型特征,限制了它们在知识图谱补全和语义计算中的表现.针对这一问题,提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp）,基于经典的张量分解技术,将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时,利用实体与关系间的类型兼容性,充分挖掘隐含在实体中的类型特征,进一步提升表示学习的准确性.此外,证明T-Temp模型具有完全表达性,且与同类模型相比,具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息.设计一种融合实体类别信息的类别增强知识图谱表示学习(CEKGRL)模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学...     

知识表示学习研究进展

人们构建的知识库通常被表示为网络形式,节点代表实体,连边代表实体间的关系.在网络表示形式下,人们需要设计专门的图算法存储和利用知识库,存在费时费力的缺点,并受到数据稀疏问题的困扰.最近,以深度学习为代表的表示学习技术受到广泛关注.表示学习旨在将研究对象的语义信息表示为稠密低维实值向量,知识表示学习则面向知识库中的实体和关系进行表示学习.该技术可以在低维空间中高效计算实体和关系的语义联系,有效解决数据稀疏问题,使知识获取、融合和推理的性能得到显著提升.介绍知识表示学习的最新进展,总结该技术面临的主要挑战和可能解决方案,并展望该技术的未来发展方向与前景.     

基于知识表示学习的KBQA答案推理重排序算法

现有的知识库问答（KBQA）研究通常依赖于完善的知识库,忽视了实际应用中知识图谱稀疏性这一关键问题。为了弥补该不足,引入了知识表示学习方法,将知识库转换为低维向量,有效摆脱了传统模型中对子图搜索空间的依赖,并实现了对隐式关系的推理,这是以往研究所未涉及到的。其次,针对传统KBQA在信息检索中常见的问句语义理解错误对下游问答推理的错误传播,引入了一种基于知识表示学习的答案推理重排序机制。该机制使用伪孪生网络分别对知识三元组和问句进行表征,并融合上游任务核心实体关注度评估阶段的特征,以实现对答案推理结果三元组的有效重排序。最后,为了验证所提算法的有效性,在中国移动RPA知识图谱问答系统与英文开源数据集下分别进行了对比实验。实验结果显示,相比现有的同类模型,该算法在hits@n、准确率、F1值等多个关键评估指标上均表现更佳,证明了基于知识表示学习的KBQA答案推理重排序算法在处理稀疏知识图谱的隐式关系推理和KBQA答案推理方面的优越性。     

基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。     

基于多模态知识感知注意力机制的问答方法

随着网络的普及,越来越多人遇到身体不适时,会选择在网站上搜索相关症状.随着在线医疗问答网站的出现,如春雨医生、寻医问药等,患者可以便捷地医生交流.现有的问答系统方法,聚焦于词级别的交互与语义信息,却很少考虑在回答问题时,回答者还利用了与问答本身无直接联系的常识.在实际生活中,除了病人的表述,医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法,它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示;然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑,并刻画问答对之间的交互关系.此外,该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集,实验结果表明:该方法比当前最好的方法准确度提升了2%以上.     

基于知识图谱的智能问答意图识别联合模型

针对现有意图识别联合模型在专业领域知识图谱问答中容易发生识别领域实体以及问句分类错误的情况,提出一个结合了领域知识图谱的意图识别联合模型。该模型有三步,将领域知识图谱中实体对应的本体标签以及本体间关系导入训练数据集,形成包含本体标签的知识文本以及额外包含本体关系的知识文本图;通过字符级嵌入和位置信息嵌入将包含了本体标签的知识文本转化成嵌入表示并依据知识文本图创建实体关系可视矩阵,明确知识文本各成分的相关程度;将嵌入表示和实体关系可视矩阵输入模型编码层进行模型的训练。以高速列车领域知识图谱为例,经过准确率和召回率的验证,以该方法训练出的模型在高速列车领域问答数据集的意图识别任务上取得了更好的表现。     

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示（KGE）旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。     

知识图谱问答领域综述

近年来,随着知识图谱的发展,利用给定的知识图谱数据自动得出人类自然语言问题的答案成为了时下的研究热点,诸如Siri和小爱同学的问答系统已经广泛投入使用.得益于深度学习的引入,该领域的各子课题虽然有所突破,但依然存在需要攻克的难点,例如多跳推理和策略组合等.本文从主流的构建方法为切入点,归纳总结该领域研究现状以及所面临的...     

基于多粒度特征表示的知识图谱问答

近年来,基于知识图谱的问答系统逐渐成为学术界和工业界的研究和应用热点方向,而传统方法通常存在效率不高以及未充分利用数据信息的问题。针对以上问题,本文将中文知识图谱问答分为实体抽取和属性选择2个子任务,采用双向长短期记忆条件随机场（Bi-LSTM-CRF）模型来进行实体识别,并提出一种多粒度特征表示的属性选择模型。该模型采用字符级别以及词级别分别对问句和属性进行嵌入表示并通过编码器进行编码,对于属性同时还引入热度编码的信息。通过不同粒度文本表示的结合,并对问句和属性进行相似度计算,最终该系统在NLPCC-ICCPOL 2016 KBQA数据集上取得了73.96%的F1值,能够较好地完成知识图谱问答任务。     

基于图匹配网络的可解释知识图谱复杂问答方法

知识图谱问答是人工智能领域的研究热点之一.在该任务中,自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码,然后与知识图谱子图计算语义匹配,这样做法未充分利用复杂问句的结构信息,方法也缺乏可解释性.针对此问题,提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先,通过语法分析方法,构建一个与知识图谱无关的未定查询图.然后,依据未定查询图和给定的知识图谱,构建一个与知识图谱相关的已定查询图,在其中,提出一种图匹配网络GMN,通过结合预训练语言模型和图神经网络技术,再利用注意力机制学习查询结构的上下文表示,从而得到更加丰富的结构匹配表示,用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验,结果表明：TTQA超过了现有方法.同时,通过消融实验验证了GMN的有效性.此外,TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.     

基于图结构的级联注意力视觉问答模型

视觉问答是一个具有挑战性的问题,需要结合计算机视觉和自然语言处理的概念。大多数现有的方法使用双流方式,先分别计算图像和问题特征,然后再采取不同的技术和策略进行融合。目前,尚缺乏能够直接捕获问题语义和图像空间关系的更高层次的表示方法。提出一种基于图结构的级联注意力学习模型,该模型结合了图学习模块（学习输入图像问题的特定图表示）、图卷积层和级联注意力层,目的是捕捉不同候选框区域图像的空间信息,以及其与问题之间的更高层次的关系。在大规模数据集VQA v2.0上进行了实验,结果表明,跟主流算法相比较,是/否、计数和其他类型问题的回答准确率均有明显提升,总体准确率达到了68.34%,从而验证了提出模型的有效性。     

基于全局覆盖机制与表示学习的生成式知识问答技术

针对现有生成式问答模型中陌生词汇导致答案准确率低下的问题和模式混乱导致的词汇重复问题,本文提出引入知识表示学习结果的方法提高模型识别陌生词汇的能力,提高模型准确率.同时本文提出使用全局覆盖机制以平衡不同模式答案生成的概率,减少由预测模式混乱导致的重复输出问题,提高答案的质量.本文在知识问答模型基础上结合知识表示学习的推理结果,使模型具备模糊回答的能力.在合成数据集和现实世界数据集上的实验证明了本模型能够有效地提高生成答案的质量,能对推理知识进行模糊回答.     

面向知识图谱约束问答的强化学习推理技术

知识图谱问答任务通过问题分析与知识图谱推理,将问题的精准答案返回给用户,现已被广泛应用于智能搜索、个性化推荐等智慧信息服务中.考虑到关系监督学习方法人工标注的高昂代价,学者们开始采用强化学习等弱监督学习方法设计知识图谱问答模型.然而,面对带有约束的复杂问题,现有方法面临两大挑战:(1)多跳长路径推理导致奖励稀疏与延迟;(2)难以处理约束问题推理路径分支.针对上述挑战,设计了融合约束信息的奖励函数,能够解决弱监督学习面临的奖励稀疏与延迟问题;设计了基于强化学习的约束路径推理模型COPAR,提出了基于注意力机制的动作选择策略与基于约束的实体选择策略,能够依据问题约束信息选择关系及实体,缩减推理搜索空间,解决了推理路径分支问题.此外,提出了歧义约束处理策略,有效解决了推理路径歧义问题.采用知识图谱问答基准数据集对COPAR的性能进行了验证和对比.实验结果表明:与现有先进方法相比,在多跳数据集上性能相对提升了2%-7%,在约束数据集上性能均优于对比模型,准确率提升7.8%以上.     

基于表示学习的知识库问答研究进展与展望

面向知识库的问答(Question answering over knowledge base, KBQA)是问答系统的重要组成. 近些年, 随着以深度学习为代表的表示学习技术在多个领域的成功应用, 许多研究者开始着手研究基于表示学习的知识库问答技术. 其基本假设是把知识库问答看做是一个语义匹配的过程. 通过表示学习知识库以及用户问题的语义表示, 将知识库中的实体、关系以及问句文本转换为一个低维语义空间中的数值向量, 在此基础上, 利用数值计算, 直接匹配与用户问句语义最相似的答案. 从目前的结果看, 基于表示学习的知识库问答系统在性能上已经超过传统知识库问答方法. 本文将对现有基于表示学习的知识库问答的研究进展进行综述, 包括知识库表示学习和问句(文本)表示学习的代表性工作, 同时对于其中存在难点以及仍存在的研究问题进行分析和讨论.     

基于知识图谱问答系统的技术实现

知识图谱是实现对话机器人的一类重要工具.如何通过一套完整流程来构建基于知识图谱的问答系统是比较复杂的.因此,本文从构建基于知识图谱的问答系统的全流程角度总结了多个主题:知识图谱类型、知识图谱构建与存储、应用在知识图谱对话中的语言模型、图空间内的语义匹配及生成.进一步,本文在各主题的垂直领域归纳了常用方法及模型,并分析了...     

融合领域特征知识图谱的电网客服问答系统

知识图谱（KG）是实现领域问答系统的关键技术之一,能够降低客服成本,推进客户自助服务的智能化,具有较大的商用价值和研究意义。针对基于KG问答系统中存在的中文问题表达模糊、线上服务运维成本高的问题,融合领域特征知识图谱的电网客服问答系统（HDKG-QA）,其能基于LSTM模型识别实体/断言,基于主题比较的语义增强方法准确寻找外部知识,使用启发式规则优化答案候选集,并定期根据ILP求解器设置全局KG的更新策略。HDKG-QA能够达到较高的实体/断言识别准确率,自动将领域知识映射为本地KG,快速实现服务知识库的在线更新,达到以较低的响应延迟实现高准确率的回答。根据国网重庆市电力公司信息通信分公司的实际客服问答数据集对本系统进行验证,实验结果表明通过引入LSTM和语义增强方法,问答系统的准确率提高了17%;基于启发式规则的优化答案排序策略将准确率提高了8%;通过引入ILP求解器,在保障同样准确率的情况下,问答响应延迟降低了9%。