基于知识表示的联合问答模型

基于知识库的问答系统旨在通过解析用户的自然语言问句直接在知识库中提取出答案.目前,大多数知识库问答模型都遵循实体检测和关系识别这两个步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两个步骤之间的联系.文中提出了一种基于知识表示的联合问答模型.首先应用知识表示模型将知识库中的实体与关系映射到低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,同时检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度,从而实现将知识库嵌入和多任务学习引入知识库问答.实验结果表明,所提模型可以极大地提高训练速度,在实体检测和关系识别任务上的准确率达到了主流水平,证明了知识库嵌入及多任务学习可以提升知识库问答任务的性能.     

文档增强型知识库问答

近年来，知识库(Knowledge Base, KB)被广泛应用于问答(Question Answering, QA)任务中。给定自然语言问题，利用知识库为给定问题提供正确答案，被称为KBQA问题。然而，知识库本身可能是不完整的(例如，KB不包含问题的答案或问题中的一些实体和关系),这限制了现有KBQA模型的总体性能。为了解决这个问题，文中提出了一个新的模型，利用文本语料库信息提供额外信息来增强知识库覆盖率和背景信息以增强问题的表示。具体来说，该模型由3个模块组成，即实体和问题表征模块、文档和问题增强表征模块以及答案预测模块。实体和问题表征模块从检索到的知识库子图中学习实体的表示，然后通过融合种子实体信息更新问题表示；文档和问题增强表征模块尝试学习与给定问题相关文档的正确表示，然后通过融合文档信息进一步改进问题表示；最后，答案预测模块根据知识库实体表征、文档表征和更新的问题表征进行答案预测。利用所提方法在WebQuestionsSP数据集上进行了大量的实验，结果表明，与其他方法相比，所提方法可以获得更高的准确性。     

融合全局—局部特征的多粒度关系检测模型

面向知识库问答的关系检测旨在从知识库的候选关系中选出与自然语言问题最匹配的关系路径,从而检索得到问题的正确答案。针对现有关系检测方法中存在的语义信息丢失和注意力交互不充分的问题,提出了一种融合全局—局部特征的多粒度关系检测模型。该模型首先使用双向长短期记忆网络对问题和关系进行编码,从单词级和关系级多种粒度对关系建模;然后使用双向注意力机制实现问题和关系的注意力交互;最后通过聚合操作提取全局特征,通过词级交互提取局部特征,计算问题和候选关系的语义相似度。实验表明,该模型在SimpleQuestions和WebQuestionsSP数据集上分别取得了93.5%和84.13%的精确度,提升了关系检测的效果。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

融合事实文本的知识库问答方法

在自然语言问题中,由于知识库中关系表达的多样化,通过表示学习匹配知识库问答的答案仍是一项艰巨任务.为了弥补上述不足,文中提出融合事实文本的知识库问答方法,将知识库中的实体、实体类型和关系转换为事实文本,并使用双向Transformer编码器(BERT)进行表示,利用BERT丰富的语义模式得到问题和答案在低维语义空间中的...     

基于关系指数和表示学习的领域集成实体链接

本文针对现有方法不能很好结合文本信息和知识库信息的问题, 提出一种基于关系指数和表示学习的领域集成实体链接方法.首先, 本文构建了特定领域知识库; 其次, 运用表示学习从文本信息中得到的向量表示计算实体指称项的上下文、主题关键词、扩展词三个特征的相似度; 然后, 利用知识库中的关系信息计算候选实体的关系指数; 最后, 将这三种相似度及关系指数相融合, 用于实体链接. 实验结果表明, 相较于现有方法, 本文方法能够有效地提高F1值, 并且该方法不需要标注语料, 更加简单高效, 适应于缺少标注语料的特定领域.     

基于BERT模型的知识库问答方法研究

基于知识库的问答是自然语言处理研究热点之一,在针对知识库问答的方法中,传统的字向量和词向量无法很好地表示问句上下文的语义信息、循环神经网络并行计算能力不足和没有考虑句子中周围词对当前词的影响、卷积神经网络不考虑字在问句中位置信息等问题。为了解决上述问题,论文提出了使用BERT模型结合循环神经网络和卷积神经网络模型的研究方法。在开源SimpleQuestion数据集上使用文中提出的方法,可使问句命名实体识别任务中f1-score提升了3%,问句关系分类任务准确率提升1%,最终答案生成任务准确率提升3.5%。实验表明,使用BERT模型可以增强这些传统模型的效果。     

基于对比学习与语言模型增强嵌入的知识图谱补全

知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。     

融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。     

基于词融合与跨度检测的中文嵌套命名实体识别

目前中文命名实体识别模型在识别具有嵌套结构的实体时存在误差,无法准确识别。基于跨度的方法能够找出嵌套实体,但在识别过程中经常生成不包含实体的跨度,无法明确划分跨度边界,增加模型负担。针对此问题,提出了基于词汇融合与跨度边界检测的中文嵌套命名实体识别模型。该模型使用多词融合方法达到文本特征增强的目的,在设计的注入模块中将目标语句中字符相关的多个词汇信息进行合并,之后融入到BERT中,以此获得更全面的上下文信息,提供更好的跨度表示;其次添加跨度边界检测模块,通过感知分类器预测跨度的首尾字符来划分跨度边界。在公共数据集上的实验表明,该模型可有效提升识别准确率。     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

海洋环境下武器效能评估系统的知识库构建

为了解决海洋环境下武器装备效能的评估问题,利用成熟的关系数据库技术提出了一种通用的知识表示方法,构建出海洋环境对武器效能影响评估系统的知识库。首先介绍了知识的两类来源,分析了效能评估知识的特点,表明传统的知识表示方法难以满足该评估系统的计算要求。然后详细地阐述了将规则、函数、算法、模型等统一到一个关系数据库中的通用关系知识表示方法,与一般知识表示进行比较,并根据其特点研究通用关系知识库的知识存储结构以及效能评估系统的推理机。最后给出基于框架知识的知识表示和推理实例。一个完善的通用关系知识库的构建将有助于解决海洋环境下武器装备效能的定量评估问题,为决策提供参考。     

知识状态神经推理的知识追踪模型

针对知识追踪研究忽略知识点之间的拓扑关系,从而限制了知识点状态的表示并最终影响预测效果的问题,提出一种知识状态神经推理知识追踪模型。首先建立知识点关系图和知识点状态图;其次利用扩散模型得到关系图和状态图的投影并完成融合;然后利用逆扩散过程得到融合了知识点关系的整体知识状态表示;最后预测学习者的表现。在模型有效性方面,在若干数据集上对比四个相关模型,所提模型均取得了一定的优势。在可解释性方面,展示了知识状态进化过程与真实答题结果之间的对应关系。在实际应用方面,以该模型为基础的智慧学习环境已分别应用于一门人工智能课程和英语语法课程,并取得了优于对比模型的结果。     

面向边缘智能的两阶段对抗知识迁移方法

对抗样本的出现,对深度学习的鲁棒性提出了挑战.随着边缘智能的兴起,如何在计算资源有限的边缘设备上部署鲁棒的精简深度学习模型,是一个有待解决的问题.由于精简模型无法通过常规的对抗训练获得良好的鲁棒性,提出两阶段对抗知识迁移的方法,先将对抗知识从数据向模型迁移,然后将复杂模型获得的对抗知识向精简模型迁移.对抗知识以对抗样本的数据形式蕴含,或以模型决策边界的形式蕴含.具体而言,利用云平台上的GPU集群对复杂模型进行对抗训练,实现对抗知识从数据向模型迁移;利用改进的蒸馏技术将对抗知识进一步从复杂模型向精简模型的迁移,最后提升边缘设备上精简模型的鲁棒性.在MNIST,CIFAR-10和CIFAR-100这3个数据集上进行验证,实验结果表明：提出的这种两阶段对抗知识迁移方法可以有效地提升精简模型的性能和鲁棒性,同时加快训练过程的收敛性.     

基于关系型蒸馏的分步神经网络压缩方法

针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.     

概念表示增强的知识追踪模型

知识追踪模型以学习者的历史学习行为数据作为输入,通过概念表示来描述学习者的概念掌握状态,从而预测学习者未来的学习表现。然而在概念的外延表示方面,当前知识追踪研究的概念外延信息被限制在一阶相关的范畴内,无法表征概念的一阶以上外延信息。为了解决这一问题,提出方法首先使用图结构描述概念内涵信息及其相互关系;其次使用图神经网络的池化操作等提取概念的外延表示,这保证了概念的外延信息来源于多阶相关关系;再与概念的内涵表示进行融合;最后预测学习者未来的答题情况。为了验证该模型的有效性和效率,选取了四个主流知识追踪模型作为对比模型,在四个常用的知识追踪数据集上进行实验。结果表明,提出模型在若干评价指标上均取得了一定的优势,说明了它的有效性;在模型性能方面,提出模型达到最优评价指标所需的迭代次数最少,说明了它的效率;在实际应用方面,以该模型为基础实现了一个智能学习平台,在三门线下课程的教学过程中判断和预测学习者未来答题情况,取得了优于其他知识追踪模型的表现。     

基于BERT和路径对比学习的归纳关系预测

在以往的知识图谱关系预测任务中,主要方法仅限于直推式推理,它们在新出现实体和关系情况下不能利用先验知识去处理归纳学习的问题。提出了基于BERT与路径对比学习的关系预测方法（BERT-based and path comparison learning,BPCL）。首先,利用卷积神经网络捕获子图目标三元组的上下文邻域信息,并将子图线性化为关系路径,利用BERT初始化边特征;其次,引入正、负关系路径;最后,联合对比学习和自监督学习训练对新出现实体之间的关系预测。在适用于归纳推理方法的常用基准数据集上,验证了该模型的预测精度有所提高。     

基于深度学习的专利知识推荐服务研究

专利作为一种包含大多数领域中最完整的设计信息,可以为设计者解决设计问题提供有价值的指导。针对现有的专利推荐方法难以有效地推荐跨领域专利的问题,提出一种基于深度学习的跨领域专利知识推荐方法,用于创新产品的概念设计。对产品功能和知识需求情境进行建模,将设计问题进行标准化表达,生成设计问题空间。提出一种半监督学习算法（TG-TCI）将专利功能信息按照功能基自动分类和标记,利用实体识别算法（BERT-BiLSTM-CRF）提取专利应用场景术语、技术术语,结合国际专利分类（IPC）信息以表示专利的功能、情境、技术和领域属性,从而生成专利知识空间。通过设计问题空间到专利知识空间的功能基和知识情境映射查找所需的跨领域专利,根据技术和领域属性对它们进行聚类和评估,选出特定的专利以激发设计者的创造力。以一个实际案例进行分析验证,证明了基于深度学习的专利知识推荐模型的可行性及有效性。