基于知识拷贝机制的生成式对话模型

基于“编码—解码”结构的端到端生成式对话模型所生成的回复多样性差、信息量少,这在很大程度上阻碍了对话的进一步扩展和深入。而知识图谱作为一种高度结构化的知识,能够为对话提供相关知识以及话题转移关系,可以用来提升对话质量。因此,该文提出了一种基于知识拷贝机制的生成式对话模型,首先使用基于知识图谱的映射机制对对话内容进行处理,随后使用知识拷贝机制直接将知识图谱中的知识引入到生成的回复中,并使用注意力机制选择知识图谱中的信息来指导回复的生成。在“2019语言与智能技术竞赛”中的“知识驱动对话”数据集上,相较竞赛举办方提供的生成式基线模型,该文所提出模型生成的回复在字符级别的F₁和多样性指标DISTINCT-1上分别有10.47%和4.6%的提升。     

基于知识增强的开放域多轮对话模型

如何减轻安全回复和重复回复一直是开放域多轮对话模型的两大挑战性难题.然而,现有开放域对话模型往往忽略了对话目标的引导性作用,以及如何在对话历史和对话目标中引入和选择更精确的知识信息.鉴于此,提出基于知识增强的多轮对话模型.所提模型首先将对话历史中实词进行义原及领域词替换,达到消除歧义和丰富对话文本表示的效果.然后将经过知识增强后的对话历史、扩充的三元组世界知识、知识管理和知识拷贝加以集成,以融合知识、词汇、对话历史和对话目标多种信息,生成多样性回复.通过两个国际基准开放域汉语对话语料库上的实验结果及可视化验证所提模型同时在自动评测和人工评测上的有效性.     

知识感知的多类型对话推荐

智能推荐型对话系统通过丰富的交互方式与用户进行交流,首先收集用户兴趣和偏好,然后主动地向用户推荐其感兴趣的内容。因此,该类系统通常涵盖多种对话类型,如问答、闲聊、推荐等。目前的研究采用流水线模型,存在误差累积的问题。该文提出基于Transformer的具有知识感知能力的对话生成模型完成面向推荐的多类型对话任务。该模型使用Transformer解码器隐式地学习对话目标路径并生成回复。此外,该文通过引入知识编码器和基于知识词表的Copy机制,提升模型对知识的感知能力。在DuRecDial数据集上的实验表明,提出的模型和基线模型相比在自动评估中取得了显著的性能提升,其中F₁、BLEU与Distinct分别提升了59.08%、110%、66.14%。该模型在2020语言与智能技术竞赛: 面向推荐的对话任务中获得第三名。     

邻域信息分层感知的知识图谱补全方法

知识图谱补全（KGC）旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络（GCN）应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。     

基于双向GCN和CVm的实体对齐模型研究

实体对齐旨在发现并链接不同知识图谱中指向现实世界的相同实体对象.针对基于图卷积网络的实体对齐通常作用于单一关系类型的无向图,容易导致对应实体学习的嵌入结果不一致问题,构建了一种基于双向图卷积网络和变异系数法的实体对齐模型.该模型通过拆分非对称邻接权重矩阵构建双向图卷积网络方法,学习实体前后向隐藏特征,实现实体的完整表示;同时通过变异系数法为属性加权,选择最有代表性的实体局部语义信息,有效提高实体对齐精确度.通过在两组大型真实异构数据集上对模型进行验证,实验结果表明,该方法与现有基于嵌入的实体对齐方法相比Hit@1值平均提高了4％,同时保持较高的平均倒数秩,在一定程度上可以提高实体对齐效果.     

基于深度学习的开放域引导对话生成模型

针对在开放域对话生成中的回复往往具有高重复性的特点或缺乏实际意义,以及与上下文内容相关性低和弱同理心等问题,利用基于DialoGPT的改进预训练模型分别构建生成排序模型,将DialoGPT模型作为基干网络并引入情绪分类和句子分类模块,便于进行多任务训练.首先将抽取的特定情绪对话之间用特殊间隔符进行拼接,然后输入到在大量数据训练过的生成模型;通过训练特定数据集和编码上下文内容,模型可以在多轮对话过程生成通顺流畅且情感引导的候选文本;同时在生成时采用核采样算法以提高回复多样性;最后通过排序模型挑选与上下文信息相关性最高的回复作为输出.另外为了进一步提高模型生成的泛化能力和算法收敛速度,采用AdamW替换Adam进行梯度更新.实验结果表明,所设计的生成排序模型在Context、Fluency等指标相比基线模型都有一定提升,对话示例显示可以有来有回的对话交流,生成的回复文本内容通顺流畅且多样性高.     

增强深层话题语义的对话引导模型

目标导向式开放域对话的核心是根据对话历史与当前话题进行话题序列规划与回复检索，使得对话达到目标话题，话题特征的提取与建模方式影响话题预测的准确性，从而影响回复检索性能。目前常见的方法是引入外部知识来增强语义，但这种方法依赖外部知识质量。提出一种基于图卷积与子图注意力的话题语义增强的对话引导模型（KWGE），该模型首先构建关键词无向图，利用图卷积神经网络对关键词编码以增强话题语义，同时编码对话历史特征，使用对话特征与话题特征做预测与检索任务，每次预测任务后计算与当前话题相关话题子图的注意力权重来更新子图节点表示，用于获取更近于目标的话题。通过对两个真实闲聊数据集进行的广泛实验，表明该模型可以构建话题连贯的对话序列，并以较高的目标达成率实现对话目标。     

使用共指消解增强多轮任务型对话生成

指代是一种重要的语言现象,运用指代可以避免复杂的词语在句子中重复出现,使语句简洁连贯。在多轮口语对话中,使用代词指代实体可以提高沟通的效率,然而,对话中频繁出现的代词给计算机语言理解增加了难度,进而影响了机器生成回复的质量。该文提出通过消解代词提高对话生成质量,先通过端到端的共指消解模型识别出多轮对话中蕴含的表述同一实体的所有代词和名词短语,即指代簇(coreference clusters);然后使用两种不同的方法,利用指代簇信息增强对话模型: ①使用指代簇信息恢复问句的完整语义,以降低机器语言理解的难度; ②使用图卷积神经网络将指代簇信息编码融入对话生成模型,以提高机器理解对话的能力。该文所提的两个方法在RiSAWOZ公开数据集上进行了验证,实验结果表明,两个方法均可以显著提升对话生成的性能。     

基于语序知识的双通道图卷积网络方面级情感分析

当前大多数基于图卷积网络的方面级情感分析方法利用文本的句法知识、语义知识、情感知识构建文本依赖,但少有研究利用文本语序知识构建文本依赖,导致图卷积网络不能有效地利用文本语序知识引导方面项学习上下文情感信息,从而限制了其性能。针对上述问题,提出基于语序知识的双通道图卷积网络(dual-channel graph convolutional network with word-order knowledge, WKDGCN)模型,该模型由语序图卷积网络(word-order graph convolutional network, WoGCN)和情感知识结合语义知识增强的句法图卷积网络(sentiment and attention-enhanced graph convolutional network, SAGCN)组成。具体地,WoGCN基于文本的语序知识构建图卷积网络,由文本的语序依赖引导方面项特征学习上下文情感信息;SAGCN利用SenticNet中的情感知识结合注意力机制增强句法依赖,利用增强后的句法依赖构建图卷积网络,以此引导方面项特征学习上下文情感信息;最后融合两个图卷积网...     

融合知识图谱和轻量图卷积网络的推荐算法

针对知识图谱推荐算法用户端和项目端建模程度不均且模型复杂度较高等问题, 提出融合知识图谱和轻量图卷积网络的推荐算法. 在用户端, 利用用户相似性生成邻居集合, 将用户及其相似用户的交互记录在知识图谱上多次迭代传播, 增强用户特征表示. 在项目端, 将知识图谱中实体嵌入传播, 挖掘与用户喜好相关的项目信息; 接着, 利用轻量图卷积网络聚合邻域特征获得用户和项目的特征表示, 同时采用注意力机制将邻域权重融入实体, 增强节点的嵌入表示; 最后, 预测用户和项目之间的评分. 实验表明, 在Book-Crossing数据集上, 相较于最优基线, AUC和ACC分别提高了1.8%和2.3%. 在Yelp2018数据集上, AUC和ACC分别提高了1.2%和1.4%. 结果证明, 该模型与其他基准模型相比有较好的推荐性能.     

CoGCN: Combining co‐attention with graph convolutional network for entity linking with knowledge graphs

Entity linking is a fundamental task in natural language processing. The task of entity linking with knowledge graphs aims at linking mentions in text to their correct entities in a knowledge graph like DBpedia or YAGO2. Most of existing methods rely on hand‐designed features to model the contexts of mentions and entities, which are sparse and hard to calibrate. In this paper, we present a neural model that first combines co‐attention mechanism with graph convolutional network for entity linking with knowledge graphs, which extracts features of mentions and entities from their contexts automatically. Specifically, given the context of a mention and one of its candidate entities' context, we introduce the co‐attention mechanism to learn the relatedness between the mention context and the candidate entity context, and build the mention representation in consideration of such relatedness. Moreover, we propose a context‐aware graph convolutional network for entity representation, which takes both the graph structure of the candidate entity and its relatedness with the mention context into consideration. Experimental results show that our model consistently outperforms the baseline methods on five widely used datasets.     

基于CNN和深层语义匹配的中文实体链接模型

实体链接是知识图谱领域的重要研究内容,现有的实体链接模型研究大多集中在对手工特征的选择上,不能很好地利用实体间的语义信息来实现更高效的实体链接效果。故提出一个基于深度语义匹配模型和卷积神经网络的实体链接模型,候选实体生成阶段采用构造同名字典,并基于上下文进行字典扩充,通过匹配来选择候选实体集。通过卷积神经网络来捕获深层语义信息,进行特征提取,并将其作为语义匹配模型的输入,通过模型训练学习选择出最佳参数,并输出语义相似度最高的候选实体作为实体链接的结果。在NLP & CC2014_ERL 数据集上较Ranking SVM模型准确率提升了3.9%,达到86.7%。实验结果表明了提出的新模型性能优于当前的主流模型。     

融合多源信息的知识表示学习

在知识图谱中,实体的文本描述信息、实体的层次类型信息和图的拓扑结构信息中隐藏着丰富的内容,它们可以形成对原始三元组的有效补充,帮助提高知识图谱各种任务的效果.为了充分利用这些多源异质信息,首先通过一维卷积神经网络嵌入文本描述信息,然后根据实体的层次类型信息构建投影矩阵,将三元组中的实体向量和实体的描述向量映射到特定的关...     

基于实体活跃度及复制生成的时序知识图谱推理

现有时序知识图谱推理主要是基于静态知识图谱的推理方法,通过知识图谱的结构特征挖掘潜在的语义信息和关系特征,忽略了实体时序信息的重要性,因此提出一种基于实体活跃度及复制生成机制的时序知识图谱推理方法（EACG）。首先,通过改进的图卷积神经网络对多关系实体建模,有效挖掘知识图谱的潜在语义信息和结构特征。其次,时序编码器基于实体活跃度学习实体的时序特征。最后,使用复制生成机制进一步学习知识图谱的历史信息,提升对时序数据建模的能力。在时序知识图谱数据集ICEWS14、ICEWS05-15、GDELT上推理的实验结果表明,EACG在MRR评估指标中分别优于次优方法2%、10%和5%。     

融合预训练语言模型和标签依赖知识的关系抽取方法

关系抽取旨在从未经标注的自由文本中抽取实体间的关系.然而,现有的方法大都孤立地预测每一个关系而未考虑关系标签相互之间的丰富语义关联.该文提出了一种融合预训练语言模型和标签依赖知识的关系抽取模型.该模型通过预训练模型BERT编码得到句子和两个目标实体的语义信息,使用图卷积网络建模关系标签之间的依赖图,并结合上述信息指导最...     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示。通常,三元组表示形式为（头实体,关系,尾实体）,这表示头实体和尾实体通过特定关系相互联系。针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法。使用球坐标系对实体和关系进行建模表示,以进行链接预测。具体来说,半径坐标旨在对不同层级的实体进行建模,半径较小的实体级别越高;角度坐标旨在区分相同层级的实体,即模长相等而角度不同的实体。该方法将实体映射到球坐标系中,可以有效建模知识图谱中普遍存在的语义分层现象。实验中,采用公开数据集WN18RR、FB15K-237与YAGO3-10进行相关的链接预测实验。实验结果表明,在WN18RR中,平均倒数排名（Mean Reciprocal Rank）比RotatE提高3.6%,Hit@10比RotatE提高1.9%;在FB15K-237中,平均倒数排名（Mean Reciprocal Rank）比ConvKB提高4.8%,Hit@10比ConvKB提高3.5%。实验证明球坐标建模语义分层的知识图谱补全方法可以有效提高三元组预测准确度。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

融合知识图谱与深度学习的疾病诊断方法研究

针对现有深度学习疾病诊断方法在辅助诊断过程中大规模依赖标注数据,且缺乏医生或专家经验知识的问题,提出一种融合医学知识图谱与深度学习的疾病诊断方法。该方法的核心是一个知识驱动的卷积神经网络(CNN)模型,通过实体链接消歧与知识图谱嵌入抽取得到医学知识图谱中的结构化疾病知识,并将病情描述文本中的疾病特征词向量与相应知识实体向量作为CNN的多通道输入。在卷积过程中从语义和知识两个层面表示不同类型疾病。通过在多类病情描述文本数据集上进行训练和测试,实验结果表明该方法的诊断性能要优于单一CNN模型与其他疾病诊断方法,并验证了这种知识与数据联合训练的方法更适用于初步诊断病情描述的疾病类型。